scrapy常見命令(待續)

在這裏插入圖片描述
scrapy的命令分爲全局命令和局部命令,顧名思義,全局命令在任何位置均可使用,而局部命令只能在某項目內使用
下面是一些命令的使用方法

scrapy -h

1.獲取幫助

scrapy fetch http://www.baidu.com

2.爬取某一URL

scrapy shell http://www.baidu.com
exit()

3.採用交互式爬取某一url,exit退出

scrapy view http://news.163.com

4.爬取並在瀏覽器中打開某一網頁

scrapy bench

5.檢測計算機爬取性能,在下電腦就是個渣渣

scrapy genspider -t basic mm baidu.com

6.使用basic模式創建名爲mm的域名爲baidu.com的任務
幾點說明
在網址http://www.baidu.com中,http爲協議名,www爲主機名,baidu.com爲域名
四種爬取模式

basic
crawl
xmlfeed
csvfeed
scrapy startproject cw

7.創建名爲cw的項目

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章