Scrapy爬蟲部署

遠端部署

1、配置服務器的python環境

• 安裝pip3：sudo apt install python3-pip
• 安裝scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/
  • 如果安裝失敗添加以下依賴：
  • sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
• 安裝scrapyd: pip3 install scrapyd
• 安裝scrapyd-client: pip3 install scrapyd-client
• 添加爬蟲運行的三方庫：
  • pip3 install requests
  • pip3 install pymysql
  • pip3 install pymongodb

2、修改scrapyd的配置文件，允許外網訪問

• Linux查找配置文件的路徑：find -name default_scrapyd.conf
• 修改配置文件: sudo vim 路徑
• 將路徑bind-address修改爲0.0.0.0允許全網訪問

3、配置安全組

• 進入服務器安全組選項添加安全組

• 添加成功後，點擊修改規則，添加如下信息(配置目的:允許訪問6800端口)
  

• 完成後返回到雲主機菜單，找到配置安全組菜單，跟換爲剛纔添加的安全組
  

• 最終完成後，在瀏覽器中輸入ip地址和端口,顯示如下圖，說明配置成功

4、將爬蟲項目部署到服務器

• 首先需要修改scrapyd.egg (項目的配置文件)

  [deploy]
   url = http://服務器的外網ip : 端口號
    project=項目名稱
  

5、項目部署

• scrapyd-deploy -p <項目名稱>
• 也可以指定版本號： scrapyd-deploy -p <項目名稱> --version <版本號>