爬蟲——scrapy框架核心組件流程

在這裏插入圖片描述
流程:

  • 引擎檢測起始列表的url,調用start_request方法對列表裏的url發起請求
    start_urls = [‘https://www.qiushibaike.com/text/’]
  • Spiders(爬蟲)將需要發送請求的url(requests)經ScrapyEngine(引擎)交給Scheduler(調度器)。
  • Scheduler(排序,入隊)處理後,經ScrapyEngine,DownloaderMiddlewares(可選,主要有User_Agent,
    Proxy代理)交給Downloader。
  • Downloader向互聯網發送請求,並接收下載響應(response)。將響應(response)經ScrapyEngine,SpiderMiddlewares(可選)交給Spiders。
  • Spiders處理response,提取數據並將數據經ScrapyEngine交給ItemPipeline保存(可以是本地,可以是數據庫)。
  • 提取url重新經ScrapyEngine交給Scheduler進行下一個循環。直到無Url請求程序停止結束。

https://blog.csdn.net/miner_zhu/article/details/81094077

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章