scrapy-redis分佈式爬蟲的搭建過程(理論篇)
1. 背景
- Scrapy 是一個通用的爬蟲框架,但是不支持分佈式,Scrapy-redis是爲了更方便地實現Scrapy分佈式爬取,而提供了一些以redis爲基礎的組件(僅有組件)。
2. 環境
- 系統:win7
- scrapy-redis
- redis 3.0.5
- python 3.6.1
3. 原理
3.1. 對比一下scrapy 和 Scrapy-redis 的架構圖。
scrapy架構圖:
scrapy-redis 架構圖:
- 多了一個redis組件,主要影響兩個地方:第一個是調度器。第二個是數據的處理。
3.2. Scrapy-Redis分佈式策略。
- 作爲一個分佈式爬蟲,是需要有一個Master端(核心服務器)的,在Master端,會搭建一個Redis數據庫,用來存儲start_urls、request、items。Master的職責是負責url指紋判重,Request的分配,以及數據的存儲(一般在Master端會安裝一個mongodb用來存儲redis中的items)。出了Master之外,還有一個角色就是slaver(爬蟲程序執行端),它主要負責執行爬蟲程序爬取數據,並將爬取過程中新的Request提交到Master的redis數據庫中。
- 如上圖,假設我們有四臺電腦:A, B, C, D ,其中任意一臺電腦都可以作爲 Master端 或 Slaver端。整個流程是:
- 首先Slaver端從Master端拿任務(Request、url)進行數據抓取,Slaver抓取數據的同時,產生新任務的Request便提交給 Master 處理;
- Master端只有一個Redis數據庫,負責將未處理的Request去重和任務分配,將處理後的Request加入待爬隊列,並且存儲爬取的數據。
Scrapy-Redis默認使用的就是這種策略,我們實現起來很簡單,因爲任務調度等工作Scrapy-Redis都已經幫我們做好了,我們只需要繼承RedisSpider、指定redis_key就行了。
缺點是,Scrapy-Redis調度的任務是Request對象,裏面信息量比較大(不僅包含url,還有callback函數、headers等信息),可能導致的結果就是會降低爬蟲速度、而且會佔用Redis大量的存儲空間,所以如果要保證效率,那麼就需要一定硬件水平。
4. 運行流程
- 第一步:在slaver端的爬蟲中,指定好 redis_key,並指定好redis數據庫的地址,比如:
class MySpider(RedisSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'amazon'
redis_key = 'amazonCategory:start_urls'
# 指定redis數據庫的連接參數
'REDIS_HOST': '172.16.1.99',
'REDIS_PORT': 6379,
- 第二步:啓動slaver端的爬蟲,爬蟲進入等待狀態,等待 redis 中出現 redis_key ,Log如下:
2017-12-12 15:54:18 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapybot)
2017-12-12 15:54:18 [scrapy.utils.log] INFO: Overridden settings: {'SPIDER_LOADER_WARN_ONLY': True}
2017-12-12 15:54:18 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2017-12-12 15:54:18 [myspider_redis] INFO: Reading start URLs from redis key 'myspider:start_urls' (batch size: 110, encoding: utf-8
2017-12-12 15:54:18 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'redisClawerSlaver.middlewares.ProxiesMiddleware',
'redisClawerSlaver.middlewares.HeadersMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-12 15:54:18 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-12 15:54:18 [scrapy.middleware] INFO: Enabled item pipelines:
['redisClawerSlaver.pipelines.ExamplePipeline',
'scrapy_redis.pipelines.RedisPipeline']
2017-12-12 15:54:18 [scrapy.core.engine] INFO: Spider opened
2017-12-12 15:54:18 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-12-12 15:55:18 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-12-12 15:56:18 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
- 第三步:啓動腳本,往redis數據庫中填入redis_key(start_urls)
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import redis
# 將start_url 存儲到redis中的redis_key中,讓爬蟲去爬取
redis_Host = "172.16.1.99"
redis_key = 'amazonCategory:start_urls'
# 創建redis數據庫連接
rediscli = redis.Redis(host = redis_Host, port = 6379, db = "0")
# 先將redis中的requests全部清空
flushdbRes = rediscli.flushdb()
print(f"flushdbRes = {flushdbRes}")
rediscli.lpush(redis_key, "https://www.baidu.com")
- 第四步:slaver端的爬蟲開始爬取數據。Log如下:
2017-12-12 15:56:18 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
parse url = https://www.baidu.com, status = 200, meta = {'download_timeout': 25.0, 'proxy': 'http://proxy.abuyun.com:9020', 'download_slot': 'www.baidu.com', 'download_latency': 0.2569999694824219, 'depth': 7}
parse url = https://www.baidu.com, status = 200, meta = {'download_timeout': 25.0, 'proxy': 'http://proxy.abuyun.com:9020', 'download_slot': 'www.baidu.com', 'download_latency': 0.8840000629425049, 'depth': 8}
2017-12-12 15:57:18 [scrapy.extensions.logstats] INFO: Crawled 2 pages (at 2 pages/min), scraped 1 items (at 1 items/min)
- 第五步:啓動腳本,將redis中的items,轉儲到mongodb中。
這部分代碼,請參照:scrapy-redis分佈式爬蟲的搭建過程(代碼篇)
5. 環境安裝以及代碼編寫
5.1. scrapy-redis環境安裝
pip install scrapy-redis
- 代碼位置:後面可以進行修改定製。
5.2. scrapy-redis分佈式爬蟲編寫
- 第一步,下載官網的示例代碼,地址:https://github.com/rmax/scrapy-redis (需要安裝過git)
git clone https://github.com/rmax/scrapy-redis.git
官網提供了兩種示例代碼,分別繼承自 Spider + redis 和 CrawlSpider + redis
第二步,根據官網提供的示例代碼進行修改。