scrapy爬蟲框架學習(一)scrapy的配置和項目創建

scrapy爬蟲框架學習(一)scrapy的配置和項目創建


1.scrapy安裝

裝有anaconda的情況下,進入anaconda命令行用pip安裝

pip install scrapy

根據情況還需要安裝pypiwin32(Windows系統)和service_identity,用pip安裝即可

2.scrapy項目的創建

anaconda命令行進入要創建項目的目錄下:

scrapy startproject projectname

創建好了項目文件夾,命令行進入這個文件夾創建爬蟲:

scrapy genspider spidername "運行的域名"

3.scrapy項目結構

scrapy項目結構

  • spiders:自己創建的spider,爬蟲的主要邏輯都在patentSpider.py
  • items.py定義數據結構
  • middlewares.py引擎和爬蟲之間以及下載器之間的中間件
  • pipelines.py存儲數據的方法
  • settings.py框架的設置
  • start.py代替命令行的運行腳本
發佈了7 篇原創文章 · 獲贊 3 · 訪問量 649
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章