scrapyd部署爬蟲項目到LINUX服務器

1,首先把scrapy爬蟲項目上傳到服務器
我的服務器架設在公司內網裏。所以在這裏使用WinSCP作爲上傳工具。
使用WinSCP上傳scrapy項目到服務器

2,修改項目的配置文件scrapy.cfg
修改scrapy.cfg

給爬蟲項目指定分組,具體方法是在deploy:之後添加部署名,比如圖中的項目,部署名是sf。
部署名會在後面的部署項目環節用到。
打開url行的註釋,並且配置一臺安裝scrapyd的服務器

3,使用scrapyd-deploy部署爬蟲項目到linux
在命令行輸入 scrapyd-deploy -l 可以顯示當前部署的項目

scrapyd-deploy -l

4,執行打包命令,完成項目部署
scrapyd-deploy 部署名 -p 項目名
使用scrapyd-deploy 完成爬蟲項目部署

5,然後編譯爬蟲項目
依然使用scrapyd-deploy命令完成
scrapyd-deploy --build-egg 項目編譯文件.egg

6,在spiderkeeper中新建項目
點擊projects按鈕,
選擇create project選項
spiderkeeper創建新項目

隨後彈出遮罩框,然後給新項目起名字,點擊create按鈕。新項目創建創建完成。
給新項目起名字
7,部署項目的egg文件
想要爬蟲程序真正進行抓取起來,還有一步。就是將egg文件部署到項目上。
選擇egg文件,部署文件
部署項目egg文件

至此,scrapyd部署爬蟲項目就結束了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章