要使用Python爬取图片数据,可以使用以下步骤:
-
导入所需的库:requests、os、urllib等。
-
使用requests库发送HTTP请求,获取网页的HTML内容。
-
使用正则表达式或BeautifulSoup库解析HTML内容,找到图片的URL。
-
使用urllib库下载图片,并保存到本地。
下面是一个示例代码,可以爬取指定网页上的图片:
import requests import os import urllib def download_image(url, save_dir): # 发送HTTP请求,获取网页内容 response = requests.get(url) html = response.text # 解析HTML内容,找到图片URL # 这里可以使用正则表达式或BeautifulSoup库 # 这里假设找到的图片URL存储在一个列表中 image_urls = ['http://example.com/image1.jpg', 'http://example.com/image2.jpg'] # 创建保存图片的文件夹 if not os.path.exists(save_dir): os.makedirs(save_dir) # 下载图片并保存到本地文件夹 for image_url in image_urls: image_name = os.path.basename(image_url) save_path = os.path.join(save_dir, image_name) urllib.request.urlretrieve(image_url, save_path) print(f'Saved image: {save_path}') # 调用函数,指定要爬取的网页URL和保存图片的文件夹路径 url = 'http://example.com' save_dir = 'images' download_image(url, save_dir)
请注意,这只是一个简单的示例,实际情况可能更复杂。爬取图片数据时,请确保遵守相关网站的爬虫规则和法律法规,以避免侵权和违法行为。