scrapyinghub 部署爬蟲項目

原創 淼素 2020-06-21 06:04

最近在學習scrapy爬蟲，在將項目部署到scrapyinghub上時，出現問題。。。

在執行scrapy deploy projectId

顯然是版本不匹配，導致包不能識別。

只需要對scrapinghub.yml文件添加https://support.scrapinghub.com/support/solutions/articles/22000200387-deploying-python-3-spiders-to-scrapy-cloud

stacks:
    default: scrapy:1.1-py3 # 這個注意，如果是python2.7 則寫成scrapy:1.1

然後再重新部署

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

爬取高清站長之家美圖（想爬多少爬多少）

方方面面總是會需要使用一些圖片做封面或背景。圖片有兩種來源：一是通過創可貼自己動手修改下就可以用了，還一種就是在網上下載圖片。 那如何下載高清並且可以供使用的圖片了？我是使用的站長之家網站下載來的圖片（http://sc.chin

iplaypy(蟒蛇师) 2020-07-08 10:43:01

高併發高性能服務器是如何實現的？

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

赖猫 2021-03-22 18:34:37

NeoKylin-Server-5.0離線部署etcd+flannel集羣，實現docker容器跨主機網絡通信

{"type":"doc","content":[{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"主機準備","att

星河寒水 2021-02-01 19:04:01

雲原生時代電信運營商微服務架構適用性研究

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragr

路宇浩 2020-12-30 16:58:53

Spring Cloud 2020.0.0 正式發佈，對開發者來說意味着什麼？

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image"

阿里巴巴云原生 2020-12-30 11:08:58

有關 Kubernetes 部署的10 個注意事項 | 白皮書

內容簡介 容器開發有望在雲中實現前所未有的可移植性和可擴展 性。此外，DevOps 開發和文化實踐也有助於提升業務價 值和響應能力。但是，在開始第一個容器開發項目之前， 有一些問題需要考慮清楚：我們應該使用什麼操作系統？ 我們是應該構建還是

红帽 2020-09-24 17:23:56

現代社會，程序員比黑客難當？

本文最初發表在 Medium 博客上，經原作者 Tyler Elliot Bettilyon 授權，InfoQ 中文站翻譯並分享。 導讀：常言道：“未知攻，焉知防”。知彼知己者，百戰不殆；不知彼而知己，一勝一負；不知彼，不知己，每戰必殆。黑

Tyler Elliot Bettilyon 2020-09-09 12:23:52

面試技巧：如何就軟件規模化進行討論

本文最初發表於 Denise Yu 個人博客，經原作者 Denise Yu 授權，InfoQ 中文站翻譯並分享。我最近注意到，在開放式、“無代碼”技術面試中如何脫穎而出，有關這方面的指導並不多。通常情況下，應聘者在面試高級職位時，常被問及的

Denise Yu 2020-09-07 14:33:58

基於docker部署更多應用

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragr

张无忌 2020-09-06 14:43:54

OPPO互聯網DevSecOps實踐

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

OPPO安全 2020-08-27 19:13:50

可能是首個支持部署 Deno 前後端應用的部署工具

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

binggg 2020-08-20 17:53:52

手把手教你在Serverless平臺上部署應用

如今，部署一個三層（表示層、業務邏輯和存儲）架構應用程序可能會有些棘手。假設我們有一個簡單的Django應用程序，即本教程中的民意投票應用程序。它在我們的本地計算機上運行完美，我們添加了requirements.txt來保存該項目的依賴項。

Vlad Temian 2020-07-23 14:38:56

Docker部署java項目

1、拉取鏡像docker pull java (附docker常用命令： 查看鏡像列表：docker images 查看運行中的容器: docker ps 查看所有容器: docker ps -a 停止容器：docker stop cid

yea大叶 2020-07-08 10:23:22

windows安裝gitblib 1.8.0版本

一、安裝配置java環境 安裝Java.安裝步驟不再詳述。 右鍵”計算機” => ”屬性” => ”高級系統設置” => ”高級” => “環境變量” => “系統變量”。 1.新建： 　　　　變量名：JAVA_HOME 　　　　變量值：

yea大叶 2020-07-08 10:23:22

Centos7源碼安裝禪道

一、安裝包準備 下載所需要的禪道安裝包：https://www.zentao.net/download.html 下載apache2.4：http://httpd.apache.org/download.cgi 下載php7.2(禪道新版

yea大叶 2020-07-08 10:23:21