scrapy爬蟲框架學習(一)scrapy的配置和項目創建
1.scrapy安裝
裝有anaconda的情況下,進入anaconda命令行用pip安裝
pip install scrapy
根據情況還需要安裝pypiwin32(Windows系統)和service_identity,用pip安裝即可
2.scrapy項目的創建
anaconda命令行進入要創建項目的目錄下:
scrapy startproject projectname
創建好了項目文件夾,命令行進入這個文件夾創建爬蟲:
scrapy genspider spidername "運行的域名"
3.scrapy項目結構
- spiders:自己創建的spider,爬蟲的主要邏輯都在patentSpider.py
- items.py定義數據結構
- middlewares.py引擎和爬蟲之間以及下載器之間的中間件
- pipelines.py存儲數據的方法
- settings.py框架的設置
- start.py代替命令行的運行腳本