Python項目:Scrapy項目

新建一個Scrapy項目

選取一個路徑,cmd在這個目錄下執行以下命令:
scrapy startproject python123demo

生成的文件目錄

scrapy.cfg

爲部署scrapy爬蟲使用的。這裏部署的概念是指將這樣的爬蟲放在特定的服務器上,並且在服務器配置好相關的操作接口。

對於本機使用的爬蟲,不需要改變部署的配置文件。

items.py

需要繼承Scrapy庫提供的item的類。對於一般的例子,不需要用戶編寫。

middlewares.py

Scrapy框架中middlewares對應的代碼模板。如果用戶希望擴展middleware的功能,那麼需要把這些功能寫到這個文件中。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章