接上一篇：爬蟲之代理池學習（一）
7、實現數據庫模塊
- 作用：用於對Proxies集合進行數據庫的相關操作
- 目標: 實現對數據庫增刪改查相關操作
- 步驟:
- 1、在init中, 建立數據連接, 獲取要操作的集合, 在 del 方法中關閉數據庫連接
- 2、提供基礎的增刪改查功能
- 實現插入功能
- 實現修改該功能
- 實現刪除代理: 根據代理的IP刪除代理
- 查詢所有代理IP的功能
- 3、提供代理API模塊使用的功能
- 實現查詢功能: 根據條件進行查詢, 可以指定查詢數量, 先分數降序, 速度升序排, 保證優質的代理IP在上面.
- 實現根據協議類型 和 要訪問網站的域名, 獲取代理IP列表
- 實現根據協議類型 和 要訪問網站的域名, 隨機獲取一個代理IP
- 實現把指定域名添加到指定IP的disable_domain列表中.
在這裏插入代碼片
8、實現代理IP爬蟲模塊
在這裏插入代碼片
9、實現代理IP檢測模塊
在這裏插入代碼片
10、實現代理IP檢測模塊
在這裏插入代碼片
11、實現代理IP池啓動入口
在這裏插入代碼片