分佈式爬蟲環境搭建——Redis|Flask代理池維護

代理池介紹

在進行網絡爬蟲時，由於一些網站的反爬措施會有封ip的現象，可使用代理池來進行代理ip的處理。
代理池的要求：
多站抓取，異步檢測。
定時篩選，持續更新。
提供接口，易於提取。
代理池架構：
獲取器
過濾器
代理隊列
定時檢測

參考代理池源碼

https://github.com/jhao104/proxy_pool

安裝依賴

（將下載的源碼解壓到自定義目錄，使用命令行到該目錄下進行安裝）
pip install -r requirements.txt

安裝時，出現以下情況（說明網速太慢，用以下解決方案也需要耐心等待）

解決方案：
pip install --default-timeout=1000 庫名如圖：

檢查：

Redis安裝和配置

下載路徑：https://github.com/microsoftarchive/redis/releases
再下載個Redis桌面管理：https://github.com/uglide/RedisDesktopManager/releases/tag/0.8.8
找到redis-desktop-manager.exe可執行文件
下載完安裝好後，打開，填寫localhost


就可以開始添加鍵和值了

Redis、Flask維護代理池

pycharm導入所下載的包，設置好相應的環境

配置Config/setting.py:

#Config/setting.py 爲項目配置文件
#配置DB
DATABASES = {
    "default": {
        "TYPE": "SSDB",        # 目前支持SSDB或redis數據庫
        "HOST": "127.0.0.1",   # db host
        "PORT": 8888,          # db port，例如SSDB通常使用8888，redis通常默認使用6379
        "NAME": "proxy",       # 默認配置
        "PASSWORD": ""         # db password

    }
}

配置 ProxyGetter

PROXY_GETTER = [
    "freeProxy01",      # 這裏是啓用的代理抓取函數名，可在ProxyGetter/getFreeProxy.py 擴展
    "freeProxy02",
    ....
]

配置 API服務

SERVER_API = {
    "HOST": "0.0.0.0",  # 監聽ip, 0.0.0.0 監聽所有IP
    "PORT": 5010        # 監聽端口
}   

上面配置啓動後，代理池訪問地址爲http://127.0.0.1:5010

這裏顯示有些包不滿足條件，可以點擊安裝，如果已經安裝，可以忽視


啓動
如果依賴已經安全完成並且具備運行條件,可以在cli下運行通過ProxyPool.py啓動
程序分爲: schedule 調度程序和 webserver Api服務
首先啓動調度程序python proxyPool.py schedule
然後啓動webApi服務python proxyPool.py webserver

在爬蟲中的使用

#將api封裝成函數直接使用
import requests

def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

# 爬蟲代碼

def getHtml():
    # ....
    retry_count = 5
    proxy = get_proxy().get("proxy")
    while retry_count > 0:
        try:
            html = requests.get('https://www.example.com', proxies={"http": "http://{}".format(proxy)})
            # 使用代理訪問
            return html
        except Exception:
            retry_count -= 1
    # 出錯5次, 刪除代理池中代理
    delete_proxy(proxy)
    return None