部署scrapy到scrapinghub 踩坑詳盡記錄.
1、註冊scrapinghub賬號，沒有scrapinghub賬號是無法部署爬蟲的.
2、創建項目（找到圖下按鈕）：
3、再創建完項目之後，scrapinghub會提供API key 以及項目ID：
4、拿到API key 和 project id後，來到本地的爬蟲項目，先安裝scrapinghub的官方包：shub， pip install shub：
除了安裝shub包，還會自動安裝與它有關聯的包：
5、安裝完後，在控制檯輸入 shub login命令，進行登錄，登錄過程需要提供API key：
API key 無誤會出現下面的提示：
6、上面進行的無誤之後，就可以進行部署前的一些工作了.
(1)首先對於未默認的包(scrapy, scrapy-spalsh,lxml) 你需要在requirements.txt裏指明它的版本號,如下所示:
出現這個錯誤就是requirements.txt 沒配置好:
requirements.txt 目錄位置:
(2) 執行 shub deploy project id(scrapinghub 提供的),不出意外的話會有一些錯誤,但它會生成一個 scrapinghub.yml文件,與gitlab-ci.yml,類似你需要在裏面進行一些配置:
配置完這些後,如果python文件裏面沒有錯誤,CI是會通過的,通過消息如下:
這樣便可以去web端執行爬蟲了.
7 執行爬蟲
(1) 找到項目,點擊run
(2) 可選多個任務依次執行:
(3)執行流程如下圖:
