爬蟲產品開發安排

一　產品的功能特點

1. 包括自定義抓取　以及　常備網站一鍵入庫抓取
2. 支持自定義調度
3. 版本更新無感，後期免維護
4. 程序再抓取過程中出現問題會有郵件提醒
5. 支持mysql oracle mongodb
6. 支持異步入庫
7. 支持restful接口
8. 支持thrift/grpc調用python版本
9. 支持分佈式部署
10. 支持登錄/驗證碼驗證登錄功能

二　開發進度安排

一期(年前)

1. 完成產品的單機docker一鍵部署
2. 任務自定義調度
3. 郵件提醒
4. mysql mongodb異步入庫驅動改寫
5. oracle驅動支持
6. 完成pip的安裝方式支持

二期

1. 完成restful接口支持
2. 完成thrift/grpc接口支持
3. 完成登錄/驗證碼登錄功能

三期

1. 產品的分佈式部署支持
2. 與Kubernetes的結合

後期迭代

1. docker Kubernetes 與rpc服務治理的融合探索