這篇文章主要給大家介紹了關於Python代理IP爬蟲的相關資料,文中通過示例代碼介紹的非常詳細,對大家學習或者使用Python具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧
前言
Python爬蟲要經歷爬蟲、爬蟲被限制、爬蟲反限制的過程。當然後續還要網頁爬蟲限制優化,爬蟲再反限制的一系列道高一尺魔高一丈的過程。爬蟲的初級階段,添加headers和ip代理可以解決很多問題。
本人自己在爬取豆瓣讀書的時候,就以爲爬取次數過多,直接被封了IP.後來就研究了代理IP的問題.
(當時不知道什麼情況,差點心態就崩了...),下面給大家介紹一下我自己代理IP爬取數據的問題,請大家指出不足之處.
問題
這是我的IP被封了,一開始好好的,我還以爲是我的代碼問題了
思路:
從網上查找了一些關於爬蟲代理IP的資料,得到下面的思路
- 爬取一些IP,過濾掉不可用.
- 在requests的請求的proxies參數加入對應的IP.
- 繼續爬取.
- 收工
- 好吧,都是廢話,理論大家都懂,上面直接上代碼...
思路有了,動手起來.
運行環境
Python 3.7, Pycharm
這些需要大家直接去搭建好環境...
準備工作
上面的網址看個人的情況來選取
爬取IP的完整代碼
PS:簡單的使用bs4獲取IP和端口號,沒有啥難度,裏面增加了一個過濾不可用IP的邏輯
關鍵地方都有註釋了
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2018/11/22 # @Author : liangk # @Site : # @File : auto_archive_ios.py # @Software: PyCharm import requests from bs4 import BeautifulSoup import json class GetIp(object): """抓取代理IP""" def __init__(self): """初始化變量""" self.url = 'http://www.xicidaili.com/nn/' self.check_url = 'https://www.ip.cn/' self.ip_list = [] @staticmethod def get_html(url): """請求html頁面信息""" header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36' } try: request = requests.get(url=url, headers=header) request.encoding = 'utf-8' html = request.text return html except Exception as e: return '' def get_available_ip(self, ip_address, ip_port): """檢測IP地址是否可用""" header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36' } ip_url_next = '://' + ip_address + ':' + ip_port proxies = {'http': 'http' + ip_url_next, 'https': 'https' + ip_url_next} try: r = requests.get(self.check_url, headers=header, proxies=proxies, timeout=3) html = r.text except: print('fail-%s' % ip_address) else: print('success-%s' % ip_address) soup = BeautifulSoup(html, 'lxml') div = soup.find(class_='well') if div: print(div.text) ip_info = {'address': ip_address, 'port': ip_port} self.ip_list.append(ip_info) def main(self): """主方法""" web_html = self.get_html(self.url) soup = BeautifulSoup(web_html, 'lxml') ip_list = soup.find(id='ip_list').find_all('tr') for ip_info in ip_list: td_list = ip_info.find_all('td') if len(td_list) > 0: ip_address = td_list[1].text ip_port = td_list[2].text # 檢測IP地址是否有效 self.get_available_ip(ip_address, ip_port) # 寫入有效文件 with open('ip.txt', 'w') as file: json.dump(self.ip_list, file) print(self.ip_list) # 程序主入口 if __name__ == '__main__': get_ip = GetIp() get_ip.main()
使用方法完整代碼
PS: 主要是通過使用隨機的IP來爬取,根據request_status來判斷這個IP是否可以用.
爲什麼要這樣判斷?
主要是雖然上面經過了過濾,但是不代表在你爬取的時候是可以用的,所以還是得多做一個判斷.
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2018/11/22 # @Author : liangk # @Site : # @File : get_douban_books.py # @Software: PyCharm from bs4 import BeautifulSoup import datetime import requests import json import random ip_random = -1 article_tag_list = [] article_type_list = [] def get_html(url): header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36' } global ip_random ip_rand, proxies = get_proxie(ip_random) print(proxies) try: request = requests.get(url=url, headers=header, proxies=proxies, timeout=3) except: request_status = 500 else: request_status = request.status_code print(request_status) while request_status != 200: ip_random = -1 ip_rand, proxies = get_proxie(ip_random) print(proxies) try: request = requests.get(url=url, headers=header, proxies=proxies, timeout=3) except: request_status = 500 else: request_status = request.status_code print(request_status) ip_random = ip_rand request.encoding = 'gbk' html = request.content print(html) return html def get_proxie(random_number): with open('ip.txt', 'r') as file: ip_list = json.load(file) if random_number == -1: random_number = random.randint(0, len(ip_list) - 1) ip_info = ip_list[random_number] ip_url_next = '://' + ip_info['address'] + ':' + ip_info['port'] proxies = {'http': 'http' + ip_url_next, 'https': 'https' + ip_url_next} return random_number, proxies # 程序主入口 if __name__ == '__main__': """只是爬取了書籍的第一頁,按照評價排序""" start_time = datetime.datetime.now() url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-all' base_url = 'https://book.douban.com/tag/' html = get_html(url) soup = BeautifulSoup(html, 'lxml') article_tag_list = soup.find_all(class_='tag-content-wrapper') tagCol_list = soup.find_all(class_='tagCol') for table in tagCol_list: """ 整理分析數據 """ sub_type_list = [] a = table.find_all('a') for book_type in a: sub_type_list.append(book_type.text) article_type_list.append(sub_type_list) for sub in article_type_list: for sub1 in sub: title = '==============' + sub1 + '==============' print(title) print(base_url + sub1 + '?start=0' + '&type=S') with open('book.text', 'a', encoding='utf-8') as f: f.write('\n' + title + '\n') f.write(url + '\n') for start in range(0, 2): # (start * 20) 分頁是0 20 40 這樣的 # type=S是按評價排序 url = base_url + sub1 + '?start=%s' % (start * 20) + '&type=S' html = get_html(url) soup = BeautifulSoup(html, 'lxml') li = soup.find_all(class_='subject-item') for div in li: info = div.find(class_='info').find('a') img = div.find(class_='pic').find('img') content = '書名:<%s>' % info['title'] + ' 書本圖片:' + img['src'] + '\n' print(content) with open('book.text', 'a', encoding='utf-8') as f: f.write(content) end_time = datetime.datetime.now() print('耗時: ', (end_time - start_time).seconds)
爲什麼選擇國內高匿代理!
總結
使用這樣簡單的代理IP,基本上就可以應付在爬爬爬着被封IP的情況了.而且沒有使用自己的IP,間接的保護?!?!
大家有其他的更加快捷的方法,歡迎大家可以拿出來交流和討論,謝謝。
好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對神馬文庫的支持。