scrapy 的 item pipeline

輸入scrapy會顯示幫助及可用命令

1.創建項目

scrapy startproject myproject

2.新建一個爬蟲

scrapy genspider mydomain mydomain.com

#查看可用的母版
scrapy genspider -l
#result
 basic
 crawl
 csvfeed
 xmlfeed

使用制定母版創建爬蟲
scrapy genspider -t crawl collinsdictionary collinsdictionary.com
--force 如果存在可以覆蓋
-d 不創建文件，直接打印在標準輸出上

3.使用spider爬取

scrapy crawl myspider

4.運行contract檢查

scrapy check myspider

5.列出當前可用爬蟲

scrapy list

6.下載供給定url

scrapy fetch https://www.collinsdictionary.com/dictionary/english/beautiful

7.用瀏覽器打開url

scrapy view https://www.collinsdictionary.com/dictionary/english/beautiful

8.shell語法

scrapy shell https://www.collinsdictionary.com/dictionary/english/beautiful

9.獲取給定url並使用相應的spider處理

scrapy parse https://www.collinsdictionary.com/dictionary/english/beautiful

10.獲取settings設定

scrapy settings --get BOT_NAME

11.運行spider

scrapy runspider myspider.py

12.查看scrapy版本

scrapy version

13.運行benchmark測試

scrapy bench 

官方文檔
中文官方文檔

官方文檔是學習的最好資料