原创 pyppeteer使用細節

windows下使用puppeteer1,安裝puppeteer的python庫pyppeteer pip install pyppeteer 2,安裝chromium第一次運行pyppeteer就會自動安裝chromium。 centos

原创 scrapyd部署爬蟲項目到LINUX服務器

1,首先把scrapy爬蟲項目上傳到服務器 我的服務器架設在公司內網裏。所以在這裏使用WinSCP作爲上傳工具。 2,修改項目的配置文件scrapy.cfg 給爬蟲項目指定分組,具體方法是在deploy:之後添加部署名,比如圖中的項目,