scrapy爬虫框架:爬取壁纸保存并命名.md

写在开始之前

按照上一篇介绍过的 scrapy爬虫的创建顺序,我们开始爬取壁纸的爬虫的创建。

首先,我们先过一遍 scrapy爬虫的创建顺序:

  • 第一步:确定要在pipelines里进行处理的数据,写好items文件
  • 第二步:创建爬虫文件,将所需要的信息从网站上爬取下来,并传递给pipelines文件处理
  • 第三步:pipelines接收spiders传递过来的数据,并做出相应的处理,如:壁纸的下载和保存
  • 第四步:一定要记得在settings开启pipelines

在开始之前,我们先按照上面的步骤来分析一下代码怎么写:

  1. 第一步:确定我们要爬取的网站,在百度上随便找一个, zol:http://desk.zol.com.cn/dongman/1920x1080/, 这是zol的动漫板块,自己练手的话可以另外找一个。

  2. 第二步:确定items,我们要下载壁纸并且按照网站上的名字进行命名。

    下载壁纸需要获取壁纸的链接 image_url,命名需要壁纸的名字 image_name

  3. 第三步:编写spiders的代码从网页中获取我们image_url和image_name

  4. 第四步:下载图片并命名保存

  5. 第五步:到settings里开启pipelines

下面正式开始敲代码<( ̄︶ ̄)↗[GO!]

一、创建scrapy爬虫项目

打开命令行,依次输入如下命令:

#创建scrapy爬虫项目
scrapy startproject bizhi_zol
#打开新创建的爬虫项目
cd bizhi_zol
#在项目里创建spiders,domain为desk.zol.com.cn
scrapy genspider zol "desk.zol.com.cn"

二、items.py

项目创建完成后,我们按照上面的顺序,先写items

# -*- coding: utf-8 -*-
#items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class BizhiZolItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_url = scrapy.Field()
    image_name = scrapy.Field()

三、spiders

这一步可以说是整个爬虫里最重要的一步了

首先我们先分析网页结构,打开网址:http://desk.zol.com.cn/dongman/1920x1080/

查看元素后发现壁纸链接全在ul标签下

xpath路径如下:

#注意!!!
#pic-list2(两个空格)clearfix
//ul[@class="pic-list2  clearfix"]/li/a

通过xpath我们得到的是壁纸下载页面的链接

再通过链接获取壁纸下载页面,再在下载页面内获得壁纸链接和名字

细节不再赘述,xpath路径如下:

#内容详情页 获取壁纸名字
//a[@id="titleName"]/text()
#内容详情页 获取壁纸下载页面
#//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href
//dd[@id="tagfbl"]/a[1]/@href

#壁纸下载页 获取壁纸下载链接
//body/img[1]/@src

spiders代码如下:

# -*- coding: utf-8 -*-
#zol.py

import scrapy
from bizhi_zol.items import BizhiZolItem

class ZolSpider(scrapy.Spider):
    name = 'zol'
    #allowed_domains = ['desk.zol.com.cn']
    start_urls = ['http://desk.zol.com.cn/dongman/1920x1080/']

    #主站链接 用来拼接网址
    base_site = 'http://desk.zol.com.cn'

    def parse(self, response):
        #获取内容详情页链接
        load_page_urls = response.xpath('//ul[@class="pic-list2  clearfix"]/li/a/@href').extract()

        for load_page_url in load_page_urls:
            url = self.base_site + load_page_url
            #获取内容详情页页面 交给getInfo处理
            print(url)
            yield scrapy.Request(url, callback=self.getInfo)

    def getInfo(self, response):
        #定义item储存信息
        item = BizhiZolItem()
        #获取壁纸名字
        item['image_name'] = response.xpath('//a[@id="titleName"]/text()').extract()[0]
        print(item['image_name'])

        #获取壁纸下载页面链接
        #load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href').extract()[0]
        #测试时发现并不是所有的壁纸都有1920x1200的分辨率,所以将代码修改如下,获得壁纸最大分辨率的链接
        load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[1]/@href').extract()[0]

        #获取壁纸下载页面 并将item作为参数传递给getLoadUrl
        request = scrapy.Request(load_page, callback=self.getLoadUrl)
        request.meta['item'] = item

        yield request

    def getLoadUrl(self, response):
        #接收参数
        item = response.meta['item']

        #获取壁纸下载链接
        item['image_url'] = response.xpath('//body/img[1]/@src').extract()[0]

        #将item传递给pipelines处理
        yield item

四、pipelines.py

我们已经通过 spiders获得了图片的名字和链接,接下来我们只要下载图片然后再命名保存即可。

下载图片和之前的下载小说不同,这里要用到 ImagesPipeline中的 get_media_requests 方法来进行下载。

这里简单介绍一下get_media_requests方法:

选中get_media_requests然后转到定义,可以看到get_media_requests方法的原型为:

def get_media_requests(self, item, info):
        return [Request(x) for x in item.get(self.images_urls_field, [])]

可以看到get_media_requests有三个参数,

第一个是self,这个不必多说;

第二个是 item,这个就是 spiders传递过来的 item

第三个是 info,看名字就知道这是用来保存信息的,至于是什么信息,info其实是一个用来保存保存图片的名字和下载链接的列表

但是我们想要重命名的话必须得有图片的路径,这时候就需要 item_completed方法了,原型如下:

def item_completed(self, results, item, info):
        if isinstance(item, dict) or self.images_result_field in item.fields:
            item[self.images_result_field] = [x for ok, x in results if ok]
        return item

注意到 item_completed里有个 results参数,results参数保存了图片下载的相关信息,我们将它打印出来看看:

[(True, {'url': 'https://desk-fd.zol-img.com.cn/t_s1920x1200c5/g5/M00/01/04/ChMkJ1q2H1-IDTMjAAT0D9iUubUAAm_uwJN1eoABPQn240.jpg', 'path': 'full/fedfedc2f28c22996af50ff8d4759e7031950517.jpg', 'checksum': '06bde14f40a64c288bd251ebbe17bc1e'})]

了解了这些后,问题就简单了。

我们只需要在 get_media_requestsscrapy.Request() 发起请求,然后 scrapy会自动将图片下载并保存。

当图片下载完成之后,我们再对图片重命名即可。

代码如下:

# -*- coding: utf-8 -*-
#pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

from scrapy.pipelines.images import ImagesPipeline
from bizhi_zol.settings import IMAGES_STORE as image_store
import scrapy
import os


class BizhiZolPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        #发起壁纸下载请求
        yield scrapy.Request(item['image_url'])

    def item_completed(self, results, item, info):
        #对壁纸进行重命名
        os.rename(image_store + '/' + results[0][1]['path'], image_store + '/' + item['image_name'] + '.jpg')

    def __del__(self):
        #完成后删除full目录
        os.removedirs(image_store + '/' + 'full')

五、settings.py

这里 settings文件需要注意的是,要添加一个 IMAGES_STORE变量来设置图片下载的目录,其他的设置不再多说,贴上代码:

#settings.py

BOT_NAME = 'bizhi_zol'

SPIDER_MODULES = ['bizhi_zol.spiders']
NEWSPIDER_MODULE = 'bizhi_zol.spiders'

IMAGES_STORE = './IMAGE'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'bizhi_zol.pipelines.BizhiZolPipeline': 300,
}

写到这里整个爬虫程序就完成了,不过这个爬虫程序只能爬取一页的壁纸,不能够自动翻页。

要实现自动翻页,就留给读者自己动脑筋了

ps: 自动翻页很简单,只需在原来代码的基础上增加几行代码就可以了