新建一個Scrapy項目
選取一個路徑,cmd在這個目錄下執行以下命令:
scrapy startproject python123demo
生成的文件目錄
scrapy.cfg
爲部署scrapy爬蟲使用的。這裏部署的概念是指將這樣的爬蟲放在特定的服務器上,並且在服務器配置好相關的操作接口。
對於本機使用的爬蟲,不需要改變部署的配置文件。
items.py
需要繼承Scrapy庫提供的item的類。對於一般的例子,不需要用戶編寫。
middlewares.py
Scrapy框架中middlewares對應的代碼模板。如果用戶希望擴展middleware的功能,那麼需要把這些功能寫到這個文件中。