全局命令
startproject
genspider
settings
runspider
shell
fetch
view
version
這些全局命令就是不依託項目存在的,也就是不管你有沒有項目都能夠運行
startproject
創建項目
scrapy startproject quotetutorial
genspider
列出所有模板
scrapy genspider -l
創建一個spider蜘蛛(默認用的basic)
scrapy genspider quotes quotes.toscrape.com
創建一個指定的模板的spider
scrapy genspider -t crawl zhihu www.zhihu.com
settings
查看你對你的scrapy設置了哪些參數
通過scrapy settings -h 來獲取這個命令的所有幫助信息,不常用
獲得蜘蛛的下載延遲
scrapy settings --get DOWNLOAD_DELAY
得到蜘蛛項目的名稱
scrapy settings --get BOT_NAME
如果沒有獲取結果則返回none
runspider
這個命令基於文件運行蜘蛛,
也就是 說你按照scrapy的蜘蛛格式編寫了一個py文件,不想創建項目,可以用到runspider
scrapy runspider scrapy_cn.py
- 如果你要用runspider運行項目下的spider,要進入項目下的spider目錄下運行,命令後面的是spider的文件名
shell
這個命令主要用於調試,穿入一個url,進入一個交互環境
scrapy shell http://www.baidu.com
通過css選擇器以及xpath選擇器來獲取我們想要的內容
fetch
在項目外面,相當於一次請求,返回一些日誌信息和網站源代碼
scrapy fetch http://www.baidu.com
選項
--nolog 忽略日誌xinxi
scrapy fetch --nolog http://www.baidu.com
--headers 輸出請求頭信息
scrapy fetch --nolog --headers http://www.baidu.com
--no-redirect 禁止重定向
scrapy fetch --nolog --no-redirect http://www.baidu.com
view
和fetch類似都是查看蜘蛛看到的是否和你看到的一致，便於排錯，
請求一個url,把網頁源代碼保存成一個文件,並用瀏覽器打開
scrapy view http://www.baidu.com
version
查看版本信息
scrapy version
查看依賴庫信息
scrapy version -v
接下來我們看一下項目命令
crawl
check
list
edit
parse
bench
crawl
運行spider,spider名稱不是文件名
scrapy crawl spider名稱
check
檢查蜘蛛,排錯,查找錯誤
scrapy check spider名稱
list
顯示項目中的所有蜘蛛
scrapy list