安裝:pip install spiderkeeper
啓動:spiderkeeper
參數:
-h, --help 展示幫助信息並且退出
--host=HOST host, 默認:0.0.0.0
--port=PORT port, 默認:5000
--username=USERNAME 設置用戶名 ,默認: admin
--password=PASSWORD 設置密碼 ,默認: admin
--type=SERVER_TYPE 接受蜘蛛服務器類型, 默認: scrapyd
--server=SERVERS 爬蟲服務器, 默認: ['http://localhost:6800']
--database-url=DATABASE_URL SpiderKeeper 數據庫,默認: sqlite:////home/souche/SpiderKeeper.db
--no-auth 不進行驗證
-v, --verbose 日誌級別
注意:如果scrapy設置了訪問限制,這裏不支持部署
生蛋:scrapyd-deploy --build-egg hans.egg
定時任務:
對於定時任務自定義需要說一下
0 ****:每分鐘執行一次
0 0/10 ***:每小時執行三次
0 0 0/2 **:每天執行兩次