前言
利用Python爬取QQ音樂評論。廢話不多說。
讓我們愉快地開始吧~
開發工具
Python版本: 3.6.4
相關模塊:
requests模塊;
re模塊;
pymysql模塊;
以及一些Python自帶的模塊。
環境搭建
安裝Python並添加到環境變量,pip安裝需要的相關模塊即可。
通過這次爬取,學習了數據庫MySQL,因爲之前都是在windows上操作,而這回需要在Mac上操作,所以就在Mac上安裝了MySQL以及MySQL的管理工具Sequel Pro,最後也是安裝成功,數據庫連接也沒有問題。
接下來創建數據庫,表格及主鍵信息。
import pymysql
# 創建數據庫
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)
cursor = db.cursor()
cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")
db.close()
import pymysql
# 創建表格, 設置主鍵
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'
cursor.execute(sql)
db.close()
針對QQ音樂中去年夏天的網頁進行分析,查看了所有評論的尾頁,發現時間縮水了,因爲熱評中有一條評論的時間7月12號,而所有評論最後一頁的時間卻是7月16號。很明顯,所有評論並不是貨真價實的所有評論,不知這算不算QQ音樂的BUG。
還有一個就是直接點擊最後一頁的時候,並不能直接返回真正的信息,需要從最後一頁往前翻,到了真正的信息頁時,然後再往後翻,才能得到最後一頁的真正信息。
同樣是Ajax請求,確認網址後,分析一下請求頭,發現主要是三個參數發生變化:jsoncallback
pagenum
lasthotcommentid
pagenum不難理解,就是頁數。jsoncallback經過實驗後,發現並不會影響請求,所以設置時無需改動,lasthotcommentid的值對應的是上一頁最後一個評論者的ID,所以需要隨時改動。
即改變pagenum,lasthotcommentid的值,就可成功實現請求。
部分代碼
import re
import json
import time
import pymysql
import requests
URL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'
HEADERS = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
PARAMS = {
'g_tk': '5381',
'jsonpCallback': 'jsoncallback4823183319594757',
'loginUin': '0',
'hostUin': '0',
'format': 'jsonp',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '213910991',
'cmd': '8',
'needmusiccrit': '0',
'pagenum': '0',
'pagesize': '25',
'lasthotcommentid': '',
'callback': 'jsoncallback4823183319594757',
'domain': 'qq.com',
'ct': '24',
'cv': '101010',
}
LAST_COMMENT_ID = ''
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music', charset='utf8mb4')
cursor = db.cursor()
def get_html(url, headers, params=None, tries=3):
try:
response = requests.get(url=url, headers=headers, params=params)
response.raise_for_status()
response.encoding = 'utf-8'
except requests.HTTPError:
print("connect failed")
if tries > 0:
print("reconnect...")
last_url = url
get_html(last_url, headers, tries-1)
else:
print("3 times failure")
return None
return response
def paras_html(html):
data = {}
content = json.loads(html[29:-3])
for item in content['comment']['commentlist']:
data["nike"] = item.get("nick")
data["comment"] = re.sub(r"\\n", " ", item.get("rootcommentcontent"))
data["comment"] = (re.sub(r"\n", " ", data["comment"]))[0:255]
data["praisenum"] = item.get("praisenum")
data["comment_id"] = item.get("commentid")
data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))
yield data
def to_mysql(data):
table = 'comments'
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)
update = ','.join([" {key} = %s".format(key=key) for key in data])
sql += update
try:
if cursor.execute(sql, tuple(data.values())*2):
print('Successful')
except:
print('Failed')
db.rollback()
db.commit()
if __name__ == '__main__':
main()
最後成功獲取評論信息