crawl spider的使用

1.創建一個爬蟲項目：

scrapy startproject news_spider

1.1 進入到項目目錄裏面 cd news_spider

2.創建一個爬蟲

scrapy genspider -t crawl 爬蟲名 域名
scrapy genspider -t crawl china_report “www.chinareports.org.cn”

3.參數介紹

1.allow_domains 允許的域名，這個一般刪掉。
2.start_urls 起始的url