網絡爬蟲之框架 5-1 Scrapy爬蟲框架

文章截圖均來自中國大學mooc Python網絡爬蟲與信息提取的教程,以上僅作爲我的個人學習筆記。下面是教程鏈接:

https://www.icourse163.org/learn/BIT-1001870001?tid=1450316449#/learn/content?type=detail&id=1214620493&cid=1218397635&replay=true


Scrapy爬蟲框架介紹:

使用:pip install srcapy 進行安裝

安裝後小測:執行 scrapy -h

Scrapy不是一個簡單的函數功能庫,而是一個爬蟲框架

爬蟲框架:

  • 是實現爬蟲功能的一個軟件結構和功能組件的集合
  • 爬蟲框架是一個半成品,可以幫助用戶實現專業網絡爬蟲

Scrapy爬蟲框架的內容:5+2結構

Scrapy爬蟲框架的解析:

Requests和Scrapy的比較:

      

選擇角度:

Scrapy爬蟲的常用命令:

爲什麼Scrapy爬蟲框架爲什麼採用命令行創建和運行爬蟲:

單元小結:

5+2結構

三個數據流的路徑

和Requests庫的不同與擇優

命令行

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章