scrapy寫爬蟲步驟

 scrapy使用步驟
 1:創建爬蟲項目
    cd /data
    scrapy startproject abc
 2:創建爬蟲文件
   scrapy genspider -l 查看有哪些模板
   scrapy genspider -t basic qw baidu.com
 3:編輯items.py制定需要抓取那些數據
 4:編輯pipelines.py,對爬去的數據做進一步的處理
 5:編輯settings.py
     比如:ITEM_PIPELINES
 6:編輯爬蟲文件qw.py
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章