scrapy的命令分爲全局命令和局部命令,顧名思義,全局命令在任何位置均可使用,而局部命令只能在某項目內使用
下面是一些命令的使用方法
scrapy -h
1.獲取幫助
scrapy fetch http://www.baidu.com
2.爬取某一URL
scrapy shell http://www.baidu.com
exit()
3.採用交互式爬取某一url,exit退出
scrapy view http://news.163.com
4.爬取並在瀏覽器中打開某一網頁
scrapy bench
5.檢測計算機爬取性能,在下電腦就是個渣渣
scrapy genspider -t basic mm baidu.com
6.使用basic模式創建名爲mm的域名爲baidu.com的任務
幾點說明
在網址http://www.baidu.com中,http爲協議名,www爲主機名,baidu.com爲域名
四種爬取模式
basic
crawl
xmlfeed
csvfeed
scrapy startproject cw
7.創建名爲cw的項目