java獲取代理池

代理池是什麼?怎麼獲取到代理呢?

  • 做爬蟲的過程中,需要隱藏自己的ip,這個時候採用固定的ip很容易出現封ip的情況,所以採用代理池的方式,在訪問網站的時候,動態的切換代理,可以避免被封賬號的問題。
  • 正常的服務器肯定不會免費給大家提供端口了,但是總有一些好心的人來提供出一些ip給大家免費試用。
    這裏主要是通過爬蟲的方式進行獲取到幾個網站的免費的代理ip和端口。

爬去使用到的技術?

  • java,jsoup,xpath。

獲取的代理一定可用嗎?

  • 網站獲取到的代理會出來不可用的情況,爬去到的代理需要校驗後再投入使用哦。

項目地址
https://github.com/yangheng12345/myfirst
如果看動態代理只用看這個文件夾下的代碼就可以了,裏面已經做好了幾家爬去的,沒有進行存儲。
其中嘗試對簡書文章進行爬去,發現沒有封我的ip,真的是太幸運了,本來還準備用動態代理驗證一直訪問簡書的功能呢。
爬蟲關注文件夾
如果對你有用的話記得點個星哦。

免費的代理網站百度一下就可以出來了。
89免費代理:
http://www.89ip.cn/index_15.html
快代理:
https://www.kuaidaili.com/free/intr/
高速代理:
http://www.iphai.com/free/ng
西刺代理
https://www.xicidaili.com/nn/
三一代理:
http://31f.cn/
有代理:
https://www.youdaili.net/
xx代理
http://ip.yqie.com/proxygaoni/
無憂代理:
http://www.data5u.com/free/index.shtml
國外代理
http://proxydb.net/
https://www.sooip.cn/QQdailiIP/62.html
http://www.cz88.net/proxy/index.shtml

-------下面是參考的
添加抓取更多免費代理網站,目前支持的抓取的免費代理 IP 站點,目前有一些國外的站點連接不穩定
• (國外) http://www.freeproxylists.net/
• (國外) http://gatherproxy.com/
• (國內) https://hidemy.name/en/proxy-list/
• (國內) http://www.ip181.com/
• (國內) http://www.kuaidaili.com/
• (國外) https://proxy.peuland.com/proxy_list_by_category.htm
• (國外) https://list.proxylistplus.com/
• (國內) http://m.66ip.cn
• (國外) http://www.us-proxy.org/
• (國內) http://www.xicidaili.com

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章