SCRAPY命令詳解(可能是如今最全最簡單的scrapy命令解釋)

1.創建一個新的項目

scrapy startproject +一個項目的名稱

我們可以進入創建的項目執行相關的命令 cd +demo1

2.生成爬蟲

scrapy genspider +文件名+網址

3.運行(crawl)

scrapy crawl +爬蟲名稱

4.check檢查錯誤

scrapy check

5.list返回項目所有spider名稱

scrapy list

6.fetch 幫助我們下載網頁,將網頁源代碼返回(前面是一些日誌,後面是源代碼)

也可以加一些參數,得到headers,並不輸出日誌文件

7.view請求Url,把它的網頁源代碼保存成文件,並打開網頁

在做網頁測試的時候很有用,可以測試ajax內容,我們知道淘寶的頁面很複雜,很多網頁內容都是用ajax保存的。

很多內容沒有加載,採取其他方式爬ajax內容

8.shell方法,命令行交互模式

傳入了url進入了交互模式

甚至可以調用CSS選擇器

9.runspider運行爬蟲文件,與crawl的去區別是runspider運行的是文件的名稱+拓展名

10.version 輸出scrapy版本參數-v可以輸出依賴庫的版本

11.bench 做測試用,反映當前性能,爬蟲速度

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章