原创 Python爬蟲——建立IP代理池

在使用Python爬蟲時,經常遇見具有反爬機制的網站。我們可以通過僞裝headers來爬取,但是網站還是可以獲取你的ip,從而禁掉你的ip來阻止爬取信息。在request方法中,我們可以通過proxies參數來僞裝我們的ip,一些網站上有免