scrapy爬虫的搭建过程（理论篇）

scrapy爬虫的搭建过程（理论篇）

1. 概述

• Scrapy是一个纯Python实现的，为了爬取网站数据、提取结构化数据而编写的应用框架，用途非常广泛。只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页的内容以及各种图片，非常方便。
• Scrapy 使用了 Twisted （其主要对手是Tornado）异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
• scrapy官方文档中文版： http://scrapy-chs.readthedocs.io/zh_CN/latest/
• 环境安装：http://blog.csdn.net/zwq912318834/article/details/77925220
• 一个很好的测试网站：https://httpbin.org/

2. 环境

• 系统：win7
• Scrapy 1.4.0
• mongodb v3.2
• python 3.6.1

3. 原理

3.1. scrapy框架图

• 绿色箭头：数据流方向。

• 蓝色框框：需要实现的部分。

• Scrapy Engine（引擎）： 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

• Scheduler（调度器）： 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

• Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine（引擎)，由引擎交给Spider来处理，

• Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

• Item Pipeline（管道）：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

• Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

4. 运行流程

• 第一步：在Spiders中，指定好起始url，比如：

# Spider中
start_urls = ['http://bbs.fengniao.com/forum/forum_125_1_lastpost.html']

• 第二步：根据start_urls，生成起始Request，送往 Scheduler 调度器。
• 第三步：调度器会将该Request送往下载中间件（Downloader Middlewares）进行再加工，比如添加user-agent，proxy等。

# Middlewares 中
class HeadersMiddleware:
    def process_request(self, request, spider):
        # print('Using HeadersMiddleware!')
        request.headers['User-Agent'] = random.choice(useragent)

• 第四步：将加工好的Request送往下载器，进行网页下载，返回Response响应体，送往Spiders处理。
• 第五步：Spiders处理 Response 响应体。一般会做两件事：

# Spider中
def parse(self, response):
    print(f"######parse: url = {response.url}, status = {response.status}")
    print(f"text = {response.text}")

• 5.1. 第一件事：从网页中提取数据，送往 pipelines.py 处理，可以写入文件，存入数据库等。 —— 接着进入 第六步。

# Spider中
def parse(self, response):
    print(f"######parse: url = {response.url}, status = {response.status}")

    # 拿到所有的文章
    articleLst = response.xpath("//ul[@class='txtList']/li")
    # 逐条提取数据
    for article in articleLst:
        articleItem = {}

        # 提取文章标题
        articleItem['title'] = article.xpath("./h3/a/text()").extract()
        # 提取文章链接
        articleItem['href'] = article.xpath("./h3/a/@href").extract()
        # 提取第一个展示图片的链接
        articleItem['firstPic'] = article.xpath("./div[@class='picList']//a//@style").extract()
        print(f"articleItem = {articleItem}")

        # 提取到数据，转入pipelines.py进行处理
        yield articleItem

• 5.2. 第二件事：继续爬取其他页面。 —— 回到 第二步

# Spider中
def parse(self, response):
    print(f"######parse: url = {response.url}, status = {response.status}")

    # 继续爬取其他链接
    # 可以是任何链接，无论是从网页中提取，还是自己构造
    for pageNum in range(2, 10):
        # 构造这种链接：http://bbs.fengniao.com/forum/forum_125_1_lastpost.html
        nextUrl = "http://bbs.fengniao.com/forum/forum_125_" + str(pageNum) + "_lastpost.html"
        # 继续爬取网页，构造Request送往调度器
        yield scrapy.Request(
            url = nextUrl,
            callback = self.parse,
            errback = self.error,
        )

• 第六步：将Spiders提取好的数据送往pipelines管道文件，进行数据存储。

# pipelines中
import pymongo
from scrapy.exceptions import DropItem

class FengniaoPipeline(object):
    def open_spider(self, spider):
        self.client = pymongo.MongoClient('localhost:27017')
        self.db = self.client['fengniao']
        self.db_table = self.db['fengniaoArticle']

    def process_item(self, item, spider):
        print(f"FengniaoPipeline: item = {item}")
        try:
            insertRes = self.db_table.insert_one(item)
            print(f"FengniaoPipeline: insertRes = {insertRes.inserted_id}")
        except Exception as e:
            print(f"FengniaoPipeline: insertRes(fengniaoArticle) Exception = {e}")
        else:
            raise DropItem("fengniaoArticle record inserted!")

• 一直到所有的页面都爬取完毕（调度器中不存在任何request了），所有的数据都处理完毕，爬虫结束。

5. 代码生成及结构

5.1. 创建一个scrapy爬虫

# 第一步，进入需要防止爬虫代码的位置，下图中指定目录为：E:\myScrapyCode
scrapy startproject fengniao  #创建一个爬虫项目fengniao  
cd fengniao                   #进入到爬虫项目目录
scrapy genspider fengniaoClawer fengniao.com    #创建一个具体的爬虫fengniaoClawer, 并初始化域名

5.2. 基础文件结构

• fengniaoClawer.py：爬虫主体，定义了如何爬取网站的核心逻辑，包括了爬取的动作，爬取哪些网页，以及如何从网页中提取数据。负责发起第一个url，并处理下载器返回的Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

• items.py：定义提取数据的格式，需要爬取哪些字段。

• middlewares.py：下载中间件，可以当作是一个可以自定义扩展下载功能的组件。反反爬虫相关机制基本上就是在这里面设置的。

• pipelines.py：Item数据管道，处理Spider传送过来的数据，进行后期处理，例如详细分析、过滤、存储等。

• settings.py：配置scrapy各组件的地方。

• scrapy.cfg：爬虫项目的部署信息。

• main.py：为了方便爬虫运行，创建的文件，这样就不用每次都输入命令了。

from scrapy import cmdline
cmdline.execute('scrapy crawl fengniaoClawer'.split())