周杰倫《說好不哭呢》QQ音樂評論的可視化分析

原創

Huang supreme

2020-06-03 22:03

作者：皖渝
原文鏈接：https://blog.csdn.net/shine4869/article/details/103224427?utm_source=app

1.數據爬取

python也快學了一個多月了，今天就來分享一下爬取QQ音樂評論的實戰例子吧。以周董的《說好不哭》爲例：

首先打開QQ音樂，搜索說好不哭。翻到評論區後，使用谷歌瀏覽器的檢查功能，找到Network部分進行抓包，發現評論區的內容是被封裝在json中的，如下圖所示：
列表中共包含25個元素，也就是一頁的評論數爲25條。通過分析url可知，pagenum控制着頁數，以for循環即可獲得多頁網址。接下來就通過python來展示具體實現爬取評論的過程：

import requests
import xlwt
import os
import json
os.chdir('..//filepath//')  ##設置工作路徑
workbook=xlwt.Workbook(encoding='utf-8')
worksheet=workbook.add_sheet('說好不哭評論')
worksheet.write(0,0,'暱稱')
worksheet.write(0,1,'時間')
worksheet.write(0,2,'點贊數')
worksheet.write(0,3,'評論')
n=1
for page in range(0,200):
    print('-'*100)
    url_left='https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk=792727314&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312&notice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=237773700&cmd=8&needmusiccrit=0'
    url=url_left+'&pagenum='+str(page)+'&pagesize=25'
    headers={'User-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=headers)
    data=json.loads(r.text)
    common_comments=data.get('comment').get('commentlist')
    for i in range(0,len(common_comments)):
        worksheet.write(n,0,common_comments[i].get('nick'))
        worksheet.write(n,1,common_comments[i].get('time'))
        worksheet.write(n,2,common_comments[i].get('praisenum'))
        worksheet.write(n,3,common_comments[i].get('rootcommentcontent'))
        n+=1
    print('第{}頁評論爬取完成'.format(str(page)))
    print('-'*100)
workbook.save('common-comments.xls')

這裏爬取的是5000條的普通評論，根據同樣的分析方法，我們還可以爬取到133條熱門評論。最終爬取的數據如下：

熱門評論數據：

普通評論數據：

2.可視化分析

拿到數據後就可以進行可視化分析啦…首先我們先來看一下熱門評論的點贊數隨時間變換的趨勢圖(這裏偷下懶：直接用excel作圖的)

不看不知道，一看嚇一跳…《說好不哭》是9月17日凌晨正式上線的，可在9月14日凌晨已經有人評論了！而且到目前爲止，點贊數最高的三個都是在17號之前發佈的…最高的點贊數更是高達6萬多！