使用requests和BeautifulSoup庫實現從任意網站爬取數據_附源代碼+註釋

一.瞭解頁面信息

這裏我們以酷狗音樂古風榜爲例

由此可見我們需要我曲目和歌手的信息都在框住的class裏面

二.爬取數據代碼

#導入requests和BeautifulSoup庫
import requests
from bs4 import BeautifulSoup

url = "https://www.kugou.com/yy/rank/home/1-33161.html?from=rank"
#獲取所有網頁信息
response = requests.get(url)
#利用.text方法提取響應的文本信息
r=requests.get(url)
html = r.text
soup =BeautifulSoup(html,'html.parser')
#解析出歌名，find_all（）函數返回的是tag的列表
names = soup.find_all('a',class_='pc_temp_songname')
# 打印names
print(names)
for name in names:
 #利用split方法把歌手和曲目分隔返回成列表形式賦值給item
    item = name.get_text().split('-')
 #q巧妙利用數組格式化依次輸出曲名和歌手
   print("曲名:{}  歌手:{} ".format(item[1],item[0]))

三.獲取數據結果

到這就結束了，一起學習共同進步 😃