Python爬虫5.12 — scrapy框架scrapy-redis[分布式爬虫]模块的使用
综述
本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4
前面的文章我们学习了scrapy框架开发爬虫的各种使用方法,下面我们来学习以下分布式爬虫的开发。
Scrapy-Redis分布式爬虫组件
Scrapy
是一个框架,他本身示不支持分布式的。如果我们想要做分布式的爬虫,就需要借助一个组件叫做Scrapy-Redis
,这个组件正式利用了Redis
可以分布式的功能,集成到Scrapy
框架中,使得爬虫可以进行分布式。可以充分利用资源(多个IP、更多带宽、同步爬取)来提高爬虫的爬行效率。
分布式爬虫的有点
- 可以充分利用多台机器的贷款。
- 可以充分利用多台及其的ip地址。
- 多台机器同时爬取,爬取数据的效率更高。
分布式爬虫必须要解决的问题
- 分布式爬虫示好几台机器同时运行,如何保证不同的机器爬取页面的时候不会出现重复爬取的问题。
- 同样,分布式使爬虫再不同的机器上运行,在把数据爬取完后如何保证存在同一个地方。
安装Scrapy-Redis
pip install scrapy-redis
运行上述命令即可安装。
Scrapy-Redis架构
Scrapy 架构图
Scrapy-Redis 架构图
开发分布式爬虫
开发
想要开发一个分布式爬虫,首先要开发好一个普通爬虫,然后更改一些代码即可。要将一个Scrapy
项目爬虫变成一个Scrapy-Redis
项目只需要修改以下三点:
- 将爬虫的类从
scrapy.Spider
变成scrapy_redis.spiders.RedisSpider
;或者是从scrapy.CrawlSpider
变成scrapy_redis.spiders.RedisCrawlSpider
。 - 将爬虫中的
start_urls
删掉,增加一个redis_key=xxx
。这个redis_key
是为了以后在redis
中控制爬虫启动的。爬虫的第一个url,就是在redis中通过这个发送出去的。 - 在配置文件中增加如下配置:
# Scrapy-Redis相关的配置
# 确保request存储到redis中
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 确保所有爬虫共享相关的去重指纹
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 设置redis为item pipeline
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 300,
}
# 在redis中保持scrapy-redis用到的队列,不会清理redis中的队列,从而可以实现暂停和恢复的功能
SCHEDULER_PERSIST = True
# 设置连接redis信息
REDIS_HOST = "192.168.1.108"
REDIS_PORT = 6379
运行
运行爬虫需要执行下述步骤:
- 在爬虫服务器上,进入到爬虫文件所在的路径,然后输入命令:
scrapy runspider [爬虫名字]
。 - 在
redis
服务器上,推入一个开始的url连接:redis-cli > lpush [redis_key] start_url
开始爬取。
结语
Python爬虫系列的博文到此篇算是全部结束了,欢迎大家指正,相互学习。
其他博文链接
- Python爬虫1.1 — urllib基础用法教程
- Python爬虫1.2 — urllib高级用法教程
- Python爬虫1.3 — requests基础用法教程
- Python爬虫1.4 — requests高级用法教程
- Python爬虫2.1 — BeautifulSoup用法教程
- Python爬虫2.2 — xpath用法教程
- Python爬虫3.1 — json用法教程
- Python爬虫3.2 — csv用法教程
- Python爬虫3.3 — txt用法教程
- Python爬虫4.1 — threading(多线程)用法教程
- Python爬虫4.2 — ajax(动态网页数据抓取)用法教程
- Python爬虫4.3 — selenium基础用法教程
- Python爬虫4.4 — selenium高级用法教程
- Python爬虫4.5 — tesseract(图片验证码识别)用法教程
- Python爬虫5.1 — scrapy框架简单入门
- Python爬虫5.2 — scrapy框架pipeline模块的使用
- Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用
- Python爬虫5.4 — scrapy框架items模块的使用
- Python爬虫5.5 — scrapy框架logging模块的使用
- Python爬虫5.6 — scrapy框架setting模块的使用
- Python爬虫5.7 — scrapy框架Shell命令的使用
- Python爬虫5.8 — scrapy框架CrawlSpider模块的使用
- Python爬虫5.9 — scrapy框架下载文件和图片
- Python爬虫5.10 — scrapy框架Download Middlewares[下载器中间件]的使用
- Python爬虫5.11 — scrapy框架结合selenium+chromedriver的使用