python爬不同图片分别保存在不同文件夹中的实现

2023-12-16Python编程
45

下面针对该话题给出完整的攻略,包括流程和示例说明。

流程说明

要实现python爬不同图片分别保存在不同文件夹中,大致的流程可以概括为以下几个步骤:

  1. 定位需要爬取的目标页面,了解其URL及HTML结构;
  2. 使用Python爬虫库(比如requests、BeautifulSoup等),获取目标页面的HTML代码;
  3. 从HTML代码中获取所需的图像URL、标题或标签等信息;
  4. 分别保存每个图像到不同的文件夹中,需要建立好文件夹目录;
  5. 将以上过程封装成一个函数供重复调用使用。

下面通过示例进行演示。

示例说明

示例一:爬取豆瓣电影封面,按照电影名称分类保存

以下示例演示如何从豆瓣电影中爬取电影封面,并按照电影名称分类保存。具体步骤如下:

  1. 打开豆瓣电影页面(比如“https://movie.douban.com/chart”),在页面中查找需要爬取的内容,并确定其HTML结构。

  2. 编写代码进行页面抓取、信息提取、分类保存等操作。其中,可以使用 requests 和 BeautifulSoup 库,具体代码如下:

import requests
from bs4 import BeautifulSoup
import os

# 网页地址
base_url = 'https://movie.douban.com/chart'
# 请求头信息
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

# 获取网页HTML代码
res = requests.get(base_url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')

# 查找电影信息
movie_list = soup.select('#content div div table tr')
for movie in movie_list:
    # 获取电影封面图片链接
    img_url = movie.select('.nbg img')[0].get('src')
    # 获取电影名称
    movie_name = movie.select('.pl2 a')[0].text.strip()
    # 保存路径(根据电影名称分类保存)
    save_path = os.path.join('douban_movies', movie_name)
    if not os.path.exists(save_path):
        os.makedirs(save_path)
    # 下载并保存图片
    img_data = requests.get(img_url).content
    with open(os.path.join(save_path, 'cover.jpg'), 'wb') as f:
        f.write(img_data)

以上代码首先使用requests库获取网页HTML代码,并使用BeautifulSoup库对HTML进行解析。通过查找对应元素的结构和属性,我们可以获取每部电影的封面图片链接和电影名称,并将它们保存到相应的变量中。接下来,利用os库来进行文件夹的创建和文件的保存操作。

运行以上代码后,即可在当前路径下生成一个名为douban_movies的文件夹,每部电影将按照其名称在该文件夹下创建一个子文件夹,并将其封面图片保存至该子文件夹下。

示例二:爬取Unsplash网站上的高清壁纸,按照标签分类保存

以下示例演示如何从Unsplash上爬取高清壁纸,并按照标签分类保存。具体步骤如下:

  1. 打开Unsplash页面(比如“https://unsplash.com/t/wallpapers”),在页面中查找需要爬取的内容,并确定其HTML结构。

  2. 编写代码进行页面抓取、信息提取、分类保存等操作。其中,同样可以使用 requests 和 BeautifulSoup 库,具体代码如下:

import requests
from bs4 import BeautifulSoup
import os

# 网页地址
base_url = 'https://unsplash.com/t/wallpapers'
# 请求头信息
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

# 获取网页HTML代码
res = requests.get(base_url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')

# 查找图片信息
photo_list = soup.select('.IEpfq')
for photo in photo_list:
    # 获取图片链接、名称和标签
    img_url = photo.select('._3fPsI')[0].get('src')
    img_name = photo.select('._2Mc8_')[0].text + '.jpg'
    img_tags = photo.select('.NpuHU')[0].text.strip().split('#')[1:]
    # 根据标签创建文件夹,下载并保存图片
    for tag in img_tags:
        save_path = os.path.join('unsplash', tag)
        if not os.path.exists(save_path):
            os.makedirs(save_path)
        img_data = requests.get(img_url).content
        with open(os.path.join(save_path, img_name), 'wb') as f:
            f.write(img_data)

以上代码与示例一类似,只是在信息提取后,将图片按照标签进行分类保存。具体来说,将图片标签通过split方法分割为一个个子标签,并将其作为文件夹名称,使用os库将其创建至对应路径下。

运行以上代码后,即可在当前路径下生成一个名为unsplash的文件夹,壁纸将按照标签名分类保存在该文件夹下的不同文件夹中。

综上所述,以上就是爬不同图片分别保存在不同文件夹中实现的完整攻略,希望对你有所帮助。

The End

相关推荐

解析Python中的eval()、exec()及其相关函数
Python中有三个内置函数eval()、exec()和compile()来执行动态代码。这些函数能够从字符串参数中读取Python代码并在运行时执行该代码。但是,使用这些函数时必须小心,因为它们的不当使用可能会导致安全漏洞。...
2023-12-18 Python编程
117

Python下载网络文本数据到本地内存的四种实现方法示例
在Python中,下载网络文本数据到本地内存是常见的操作之一。本文将介绍四种常见的下载网络文本数据到本地内存的实现方法,并提供示例说明。...
2023-12-18 Python编程
101

Python 二进制字节流数据的读取操作(bytes与bitstring)
来给你详细讲解下Python 二进制字节流数据的读取操作(bytes与bitstring)。...
2023-12-18 Python编程
120

Python3.0与2.X版本的区别实例分析
Python 3.x 是 Python 2.x 的下一个重大版本,其中有一些值得注意的区别。 Python 3.0中包含了许多不兼容的变化,这意味着在迁移到3.0之前,必须进行代码更改和测试。本文将介绍主要的差异,并给出一些实例来说明不同点。...
2023-12-18 Python编程
34

python如何在终端里面显示一张图片
要在终端里显示图片,需要使用一些Python库。其中一种流行的库是Pillow,它有一个子库PIL.Image可以加载和处理图像文件。要在终端中显示图像,可以使用如下的步骤:...
2023-12-18 Python编程
91

Python图像处理实现两幅图像合成一幅图像的方法【测试可用】
在Python中,我们可以使用Pillow库来进行图像处理。具体实现两幅图像合成一幅图像的方法如下:...
2023-12-18 Python编程
103