spiderkeeper

安裝:pip install spiderkeeper

啓動:spiderkeeper

參數:
-h, --help            展示幫助信息並且退出
  --host=HOST           host, 默認:0.0.0.0
  --port=PORT           port, 默認:5000
  --username=USERNAME   設置用戶名 ,默認: admin
  --password=PASSWORD   設置密碼 ,默認: admin
  --type=SERVER_TYPE    接受蜘蛛服務器類型, 默認: scrapyd
  --server=SERVERS      爬蟲服務器, 默認: ['http://localhost:6800']
  --database-url=DATABASE_URL   SpiderKeeper 數據庫,默認: sqlite:////home/souche/SpiderKeeper.db
  --no-auth             不進行驗證
  -v, --verbose         日誌級別

注意:如果scrapy設置了訪問限制,這裏不支持部署

生蛋:scrapyd-deploy --build-egg hans.egg

定時任務:

對於定時任務自定義需要說一下

0 ****:每分鐘執行一次
0 0/10 ***:每小時執行三次
0 0 0/2 **:每天執行兩次

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章