1,首先把scrapy爬蟲項目上傳到服務器
我的服務器架設在公司內網裏。所以在這裏使用WinSCP作爲上傳工具。
2,修改項目的配置文件scrapy.cfg
給爬蟲項目指定分組,具體方法是在deploy:之後添加部署名,比如圖中的項目,部署名是sf。
部署名會在後面的部署項目環節用到。
打開url行的註釋,並且配置一臺安裝scrapyd的服務器
3,使用scrapyd-deploy部署爬蟲項目到linux
在命令行輸入 scrapyd-deploy -l 可以顯示當前部署的項目
4,執行打包命令,完成項目部署
scrapyd-deploy 部署名 -p 項目名
5,然後編譯爬蟲項目
依然使用scrapyd-deploy命令完成
scrapyd-deploy --build-egg 項目編譯文件.egg
6,在spiderkeeper中新建項目
點擊projects按鈕,
選擇create project選項
隨後彈出遮罩框,然後給新項目起名字,點擊create按鈕。新項目創建創建完成。
7,部署項目的egg文件
想要爬蟲程序真正進行抓取起來,還有一步。就是將egg文件部署到項目上。
選擇egg文件,部署文件
至此,scrapyd部署爬蟲項目就結束了。