Python爬取15萬條《我是餘歡水》彈幕，還原一個喪到極致的中年人生

前言

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。

作者：追劇上頭的C君 CDA數據分析師

PS：如有需要Python學習資料的小夥伴可以加點擊下方鏈接自行獲取http://t.cn/A6Zvjdun

《我是餘歡水》大家都在怎麼看？

豆瓣評分：

目前在豆瓣上，《我是餘歡水》爲7.5分。共有11萬的人給出了評分，其中百分之30.8%給出了5星，40%的給出了4星，是非常不錯的成績。

知乎問答

我們分析整理了知乎上關於《我是餘歡水》的問答，可以看到：

我們把回答的角度主要分爲故事、角色和劇作三個角度。

關於劇作

討論的角度主要是“網絡短劇”的新形式十分有新鮮感，“結構緊湊”。同時還是那熟悉的“正午配方”，許多正午陽光其他劇的演員出現，總讓有種“熟臉連連看的”的感覺，很是有趣。

關於故事

很多人表示，《我是餘歡水》顯然講的是“一個社畜的故事”，餘歡水在職場的力不從心與無奈讓人同情。劇中把餘歡水遭遇車禍、離婚、誤診的窩囊人生悲劇用“喜劇效果”來展現。

關於角色

男主餘歡水、他的老婆甘虹、以及辦公室三人組趙覺民、魏總等人都是討論的焦點。

Python分析15萬彈幕 看看大家都在說些什麼

那麼觀衆們對《餘歡水》和劇中主要人物都是怎麼看的呢？

我們爬取了在騰訊視頻上本劇的彈幕，共計150252 條彈幕，每集平均就有 12521 條。

先看到主要結論：

大家有多愛發彈幕

再細看到每人彈幕發送的數量：

根據數據，在發送彈幕的人羣中，63.7%的人發了一條彈幕，16.9%發了兩條，少數比較話癆的人發了10條以上的彈幕，佔比3.63%。

哪些彈幕點贊最多？

點贊最高的彈幕也特別有意思，比如：

餘歡水——國家一級退堂鼓表演藝術家

記住！這是一瓶改變命運的假酒

你摔倒了，我們很同情馬路

對不起，但是真的好想笑

真是讓人感嘆，這屆網友實在是太有才了。餘歡水都這麼慘了，你們還嘲笑他，真是太壞了。

彈幕裏大家都在討論誰？

根據分析我們可以看到，討論最多的當然是我們的男主了，有3974條彈幕都是關於餘歡水的。

討論最多的第二名是誰？你們絕對想不到，居然是公司三人組，餘歡水的上司之一梁安妮，收穫了2158條彈幕。比餘歡水老婆甘虹的彈幕高出近一倍。

人物彈幕畫像：

我們再根據主要人物的彈幕，整理出各個人物的畫像，首先是餘歡水，大家提到最多的就是演員郭京飛的演技，吊打一衆小鮮肉，妥妥的用實力說話。

餘歡水

餘歡水也被觀衆戲稱爲“好慘一男的”，各種“窩囊”、“慫”、“慘”“令人心疼”，從中也看到了人到中年的無奈與現實。除此之外大家也瘋狂串戲到了《都挺好》裏的“蘇明成”，感覺男主這麼慘，看來編劇是想讓餘歡水給蘇明成還債呀。

甘虹

我們再看到餘歡水老婆甘虹的畫像，大家提到最多的關鍵詞是“大嫂”，要知道在都挺好裏，高露演的是郭京飛的大嫂，這一轉眼兩人從叔嫂演成了夫妻。

梁安妮

看到收穫彈幕第二高的角色——梁安妮。觀衆們都沉迷於她的演技，“性感”、“撩人”“好看”等都是關鍵詞。認爲這個角色是妥妥的魅力擔當，演員高葉把這個人物的氣質拿捏的死死的，果然漂亮小姐姐大家都喜歡。

趙覺民

再聊聊正午的金牌配角嶽暘。聽名字可能不太熟悉，但看臉就知道了，正午的劇裏哪哪都有他。《我是餘歡水》裏，他演的是的領導趙覺明。他在《鬼吹燈之精絕古城》裏演的是“大金牙”；到了《歡樂頌》，他演的是樊勝美的哥哥"樊勝英"。在彈幕裏這兩個角色名也常常被大家提到。

下面看到具體分析過程

此次分析我們獲取騰訊視頻的彈幕並進行數據數據，數據獲取部分的具體思路如下：

• 分析網站URL規律，獲取彈幕數據URL請求接口和請求方式
• 分析彈幕URL規律分析，獲取翻頁規律

數據獲取

分析網站和數據定位

打開騰訊視頻《我是餘歡水》視頻隨便選取一集，觀察我們需要抓取的彈幕，可以明顯看出來彈幕不是在視頻上的而是浮動在視頻上面，而且彈幕在視頻播放之後才滾動加載，所以我們大概能得出彈幕是JS異步加載的。

我們使用谷歌瀏覽器，右鍵審查元素，觀察Network的請求，播放開始後出現了大量請求，我們在js選項下發現了一個比較特殊的請求 “danmu” ,打開這個請求後發現這就是我們要的彈幕數據。

切換到Headers下獲取到彈幕數據的URL地址：

https://mfm.video.qq.com/danmu?otype=json&callback=jQuery19106242753790025646_1587109875909&target_id=5035751775%26vid%3Dy0033grdnk8&session_key=93970%2C2557%2C1587109877&timestamp=195&_=1587109875933

彈幕URL規律分析
首先，我們嘗試刪掉目標網址中不影響最終結果的部分參數，從而精簡出網址如下：

https://mfm.video.qq.com/danmu?target_id=5035751775&vid=y0033grdnk8&timestamp=15

將第二，三個請求拿出來精簡：

https://mfm.video.qq.com/danmu?target_id=5035751775&vid=y0033grdnk8&timestamp=45

https://mfm.video.qq.com/danmu?target_id=5035751775&vid=y0033grdnk8&timestamp=75

對比很容易找到規律，從第一頁到第二頁，timestamp值從15變到了45，第二頁到第三頁從45到75，target_id不變。

這個規律我們可以大膽猜測這個 timestamp 值是控制頁數的，並且起始值是15每30秒更新一次。

一集視頻彈幕有多少頁呢？如何獲取最後一個timestamp的值。

有一個小技巧，我們在構建URL地址的時候指定一個足夠大的結尾步長，然後當獲取不到內容時終止循環即可。

不同集之前我們需要尋找target_id的代碼規律，此處暫不做贅述。

具體代碼如下：

# 導入所需庫
import requests
import json
import time
import parsel
import pandas as pd

def get_danmu_one_page(url_dm):
    """
    :param url_dm: 視頻彈幕URL地址
    :return: 一頁的彈幕數據
    """
    # 添加headers
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
        'cookie': '你的電腦登錄後的cookie信息',
        'referer': 'https://v.qq.com/x/cover/mzc00200bll9mha.html',
    }

    # 發起請求
    try:
        r = requests.get(url_dm, headers=headers, timeout=3)
    except Exception as e:
        time.sleep(3)
        r = requests.get(url_dm, headers=headers, timeout=3)

    # 解析網頁
    data = r.json()['comments']

    # 獲取評論ID
    comment_id = [i['commentid'] for i in data]
    # 獲取用戶名
    oper_name = [i['opername'] for i in data]
    # 獲取會員等級
    vip_degree = [i['uservip_degree'] for i in data]
    # 獲取評論內容
    content = [i['content'] for i in data]
    # 獲取評論時間點
    time_point = [i['timepoint'] for i in data]
    # 獲取評論點贊
    up_count = [i['upcount'] for i in data]

    # 存儲數據
    df_one = pd.DataFrame({
        'comment_id': comment_id,
        'oper_name': oper_name,
        'vip_degree': vip_degree,
        'content': content,
        'time_point': time_point,
        'up_count': up_count
    })
    return df_one


def get_danmu_all_page(target_id, vid):
    """
    :param target_id: target_id
    :param vid: vid
    :return: 所有頁彈幕
    """
    df_all = pd.DataFrame()
    # 記錄步數
    step = 1
    for time_stamp in range(15, 100000, 30):  # 右側設置一個足夠大的數
        try:  # 異常處理
            # 構建URL
            url_dm = 'https://mfm.video.qq.com/danmu?target_id={}&vid={}&timestamp={}'.format(target_id, vid, time_stamp)
            # 調用函數
            df = get_danmu_one_page(url_dm)
            # 終止條件
            if df.shape[0] == 0:
                break
            else:
                df_all = df_all.append(df, ignore_index=True)
                # 打印進度
                print('我正在獲取第{}頁的信息'.format(step))
                step += 1
                # 休眠一秒
                time.sleep(1)
        except Exception as e:
            continue

    return df_all

獲取到的數據如下所示，共計爬取了 150252 條彈幕（每集平均12521條，每30s的間隔爬取），來看看彈幕下的餘歡水。

主要包含了以下信息：集數、評論ID、用戶名、vip等級、評論內容、評論時間點和評論點贊。