文章截圖均來自中國大學mooc Python網絡爬蟲與信息提取的教程,以上僅作爲我的個人學習筆記。下面是教程鏈接:
Scrapy爬蟲框架介紹:
使用:pip install srcapy 進行安裝
安裝後小測:執行 scrapy -h
Scrapy不是一個簡單的函數功能庫,而是一個爬蟲框架
爬蟲框架:
- 是實現爬蟲功能的一個軟件結構和功能組件的集合
- 爬蟲框架是一個半成品,可以幫助用戶實現專業網絡爬蟲
Scrapy爬蟲框架的內容:5+2結構
Scrapy爬蟲框架的解析:
Requests和Scrapy的比較:
選擇角度:
Scrapy爬蟲的常用命令:
爲什麼Scrapy爬蟲框架爲什麼採用命令行創建和運行爬蟲:
單元小結:
5+2結構
三個數據流的路徑
和Requests庫的不同與擇優
命令行