Scrapy設置之提前終止爬蟲

轉載自  https://blog.csdn.net/Q_AN1314/article/details/51104701

Scrapy的CloseSpider擴展會在滿足條件時自動終止爬蟲程序。可以設置CLOSESPIDER_TIMEOUT（秒）、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分別代表在指定時間過後、在抓取了指定數目的Item之後、在收到了指定數目的響應之後、在發生了指定數目的錯誤之後就終止爬蟲程序。通常情況下可以在命令行中設置：

$ scrapy crawl fast -s CLOSESPIDER_ITEMCOUNT=10
$ scrapy crawl fast -s CLOSESPIDER_PAGECOUNT=10
$ scrapy crawl fast -s CLOSESPIDER_TIMEOUT=10