爬取熊貓tv lol遊戲主播人氣排名:
# 爬蟲前奏:
# 1.明確目的
# 2.找到數據對應的網頁
# 3.分析網頁的結構找到數據所在的標籤位置
# 模擬HTTP請求,向服務器發送這個請求,獲取到服務器返回給我們的HTML
# 用正則表達式提取我們要的數據(名字,人氣)
#Vscode斷點調試:
# 1.F5開啓斷點調試
# 2.F11單步調試
#BeautifulSoup 工具庫 Scrapy 爬蟲框架
#爬蟲 反爬蟲 反反爬蟲 ip封閉 代理ip
#python內置的爬蟲獲取庫 request
from urllib import request
# 引入正則表達式re模塊
import re
class Spider():
url='https://www.panda.tv/cate/lol'
# ?非貪婪模式 只要匹配到就好 ()只要中間的
root_pattern='<div class="video-info">([\S\s]*?)</div>'
name_pattern='</i>([\s\S]*?)</span>'
number_pattern='<span class="video-number">([\s\S]*?)</span>'
#私有方法 獲取網頁html
def __fetch_content(self):
r=request.urlopen(Spider.url)
#bytes
htmls=r.read()
#bytes 轉字符串
htmls=str(htmls,encoding='utf-8')
return htmls
# 解析html 獲取需要的數據
def __analysis(self,htmls):
root_html=re.findall(Spider.root_pattern,htmls)
anchors=[]
for html in root_html:
name=re.findall(Spider.name_pattern,html)
number=re.findall(Spider.number_pattern,html)
anchor={'name':name,'number':number}
anchors.append(anchor)
print(anchors[0])
return anchors
#數據精煉
def __refine(self,anchors):
#strip() 去除字符串首尾空格、換行
l=lambda anchor:{
"name":anchor['name'][0].strip(),
"number":anchor['number'][0]
}
return map(l,anchors)
# 排序
def __sort(self,anchors):
#sorted() 排序方法
anchors=sorted(anchors,key=self.__sort_seed,reverse=True)
return anchors
# 排序的key
def __sort_seed(self,anchor):
r=re.findall('\d*\.?\d*',anchor['number'])
number=float(r[0])
if '萬' in anchor['number']:
number=number*10000
return number
# 展示排名
def __show(self,anchors):
for i in range(0,len(anchors)):
print("rank:"+str(i+1)+"----name:"+anchors[i]['name']+"---number:"+anchors[i]['number'])
#入口方法 公開
def go(self):
htmls=self.__fetch_content()
anchors=self.__analysis(htmls)
anchors=list(self.__refine(anchors))
anchors=self.__sort(anchors)
self.__show(anchors)
spider=Spider()
spider.go()