Python解讀：地攤經濟火了，你想好擺攤去賣什麼了嗎？

【導語】：今天我們來聊聊地攤經濟，Python技術部分請看第四部分。Show me data，用數據說話！

知乎上有一個問題：疫情結束後，你最想做的一件事是什麼？有人這樣回答，最想見的人就是家樓下燒烤店的老闆；最想做的事，就是來一紮啤酒，來幾十個串，一個人慢慢悠悠地喫，然後看着周圍的人熱熱鬧鬧地聊天。

一場疫情，終於不少人明白：原來搖晃的紅酒杯，並不是生活的全部。平平淡淡的煙火氣纔是生活的真諦。最近，帶着煙火氣的地攤經濟，火了。

這一切都源於成都的一個嘗試：3月，成都就出臺政策，允許商戶在規定區域內臨時佔道經營。一時間，燒烤攤、服裝攤、小商品攤紛紛擺上了路邊。

兩個月後，成都公佈數據顯示，解決了10萬就業，幫助中心城區餐飲店復工率超98%。原本一季度GDP同比下降3%的成都，一下子又恢復了活力。

人流回來了，城市的活力就回來了。

突然之間，地攤經濟成了人們茶餘飯後的談資，許多人都已經開始籌劃着擺攤賣什麼了。曾經的城管不讓擺，到今天的城管喊你來擺攤，地攤經濟的時代真的到來了嗎？今天我們就帶你用數據盤一盤。

01、地攤經濟火了！微博微熱點數據

我們先看到微博微熱點的數據：來源：http://www.wrd.cn/goSearch.sht

全網熱度指數趨勢

從全網熱度指數的變化趨勢來看，地攤經濟的熱度在6月3日起逐步升溫，6月4日9時達到了99.69的峯值。

全網關鍵詞雲圖

再看到全網關鍵詞雲圖，在與地攤經濟相關的全部信息中，提及頻次最高的詞語依次爲"地攤經濟"、"擺攤"和"全員"。

02、B站視頻彈幕數據

目前在B站上也湧現出許多關於地攤經濟的視頻。

我們看到其中這個關於成都地攤經濟與文化的視頻，目前該個視頻在B站上播放量達到14.1萬，收穫了3856條彈幕。

地址：

https://www.bilibili.com/video/BV1Ft4y1y7iG?from=search&seid=12113765873623399312

那麼這些彈幕中大家都在談論些什麼呢？我們對這些彈幕進行分析整理，讓我們看到詞雲圖。

彈幕詞雲圖

可以看到大家討論最多的就是除了"地攤"、"成都"，還有就是"衛生"、"城管"、"利潤"等內容。其中地攤"美食"、"小喫"、"燒烤"、"乾淨"也是大家十分關注的問題。

是否支持地攤經濟彈幕投票

在視頻結尾，也發起了你是否支持地攤經濟的彈幕投票，支持的打數字1，不支持的打數字2，據統計共有1869條彈幕參與投票，其中91.44%的彈幕表示支持，不支持的僅佔8.56%。

03、微博評論話題數據

再讓我們看到對地攤經濟討論呼聲最高的微博。首先看到微博話題：#你會考慮擺地攤嗎# 我們共分析整理了3436條評論數據：

可以看到在考慮是否擺地攤時，大家考慮最多的就是"城管"的問題了，曾經的城管不讓擺，到今天的城管喊你來擺攤，真是活久見啊。其次"經濟"、"營業額"、"收入"等也是大家特別關心的焦點。

下面是 #如果擺地攤你會賣什麼# 這個話題，目前該話題共有408.6萬的閱讀，共3934條討論，去重後我們得到3657條數據。

評論詞雲

通過分析詞雲可以發現，"貼膜"是許多人都想嘗試的地攤項目。其次"燒烤"、"烤冷麪"、"煎餅果子"等街頭美食是許多人的選擇。除了喫的，"賣花"、"飾品"、"襪子"等商品也是很多人想嘗試的。有意思的是，"算命"也被多次提到。

再看到 #你的專業擺地攤兒能幹啥# 我們共獲取1641條討論數據。

這裏就比較有意思了：

我們可以看到比如新聞傳播專業的小夥伴選擇賣報紙、機械專業選擇專業開鎖、哲學專業選擇看相算命等魔幻操作。

都是哪些人在參與地攤話題的討論呢？我們對參與話題的微博用戶進行了分析，共獲得4875條條數據。

微博評論用戶性別佔比

可以看到，在參與話題的用戶中，女性用戶佔比達到了71.62%，而男性用戶僅佔28.38%。在地攤經濟的話題中，女性用戶參與比例遠超男性用戶。

評論用戶地區分佈

參與話題的用戶都來自哪些地區呢？經過分析整理可以看到，廣東、北京、河南地區參與度最高，分佈位居前三名。其次是江蘇、也有不少參與話題的海外用戶。

評論用戶年齡分佈

地攤經濟的話題評論中，用戶年齡分佈又是怎樣的呢？經過分析可見，90後的參與度最高，佔比高達70.56%。其次是00後，佔比12.58%。然後80後位居第三，佔比爲9.15%。

04、擺攤吧後浪！教你用Python分析微博數據

微博評論數據分析

我們使用Python獲取了微博地攤經濟話題的熱門評論數據和B站熱門視頻彈幕數據，進行了處理和分析。B站彈幕的爬蟲之前已經展示過，此處放上微博評論爬蟲關鍵代碼。

01 數據獲取

微博分爲：微博網頁端、微博手機端、以及微博移動端，此次我們選擇手機端（https://m.weibo.cn/）進行數據的抓取。

我們要演示的網址如下：

https://weibo.com/5382520929/J4UtmkJUJ?type=comment#_rnd1591495913796

打開上面的網址之後，使用谷歌瀏覽器的抓包工具，將設備切換到手機端並再次刷新網頁。

通過分析網頁可以發現，評論的數據是通過動態js進行加載的，分析得到真實的數據請求地址：

https://m.weibo.cn/comments/hotflow?id=4511703964943057&mid=4511703964943057&max_id=140218361800408&max_id_type=0

參數說明如下：

id/mid:評論ID，抓包獲取。

max_id/max_id_type: 前一頁返回的response數據中。

我們使用requests獲取數據，使用json進行解析並提取數據，關鍵代碼如下：

# 導入包
import requests
import numpy as np
import pandas as pd
import re 
import time
import json
from faker import Factory


def get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0):
    """
    功能：獲取指定微博的評論數據，數據接口由chrome切換到手機端抓包獲取。
    注意事項：此程序每次獲取的數量有限制，每次獲取之後隔5分鐘再抓取即可
    """
    max_id = max_id
    max_id_type = max_id_type

    # 存儲數據
    df_all = pd.DataFrame()

    for i in range(1, max_page):
        # 打印進度
        print('我正在獲取第{}頁的評論信息'.format(i))

        # 獲取URL
        url = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type)

        # 添加headers
        headers = {
            'User-Agent': Factory().create().user_agent(),
            'Referer': 'https://m.weibo.cn/detail/1591254045309',
            'cookie': '複製cookie信息',
            'X-Requested-With': 'XMLHttpRequest',
        }

        # 發起請求
        try:
            r = requests.get(url, headers=headers, timeout=3)
        except Exception as e:
            print(e)
            r = requests.get(url, headers=headers, timeout=3)

        if r.status_code==200:
            # 解析數據
            json_data = json.loads(r.text)

            # 獲取數據
            comment_data = json_data['data']['data']

            created_time = [i.get('created_at') for i in comment_data]
            text = [i.get('text') for i in comment_data]
            user_id = [i['user'].get('id') for i in comment_data]
            screen_name = [i['user'].get('screen_name') for i in comment_data]
            reply_num = [i.get('total_number') for i in comment_data]
            like_count = [i.get('like_count') for i in comment_data]

            # max_id
            max_id = json_data['data']['max_id']
            # max_id_type
            max_id_type = json_data['data']['max_id_type']

            # 存儲數據
            df_one = pd.DataFrame({
                'created_time': created_time,
                'text': text,
                'user_id': user_id,
                'screen_name': screen_name,
                'reply_num': reply_num,
                'like_count': like_count
            })

            # 追加
            df_all = df_all.append(df_one, ignore_index=True)

            # 休眠一秒
            time.sleep(np.random.uniform(2))

        else:
            print('解析出錯！打印最後一次的值', max_id, max_id_type)
            continue

    return df_all

# 運行函數
if __name__ == '__main__':
    # 獲取一條微博評論
    df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)

獲取到的數據以數據框的形式存儲，包含評論時間、評論文本、評論用戶id，回覆數和點贊數。格式如下所示：

df.head()

02 數據預處理

我們對獲取的數據進行初步的處理，主要包含：

重複值處理
created_time：提取時間信息
text：初步清洗
user_id：根據用戶ID獲取用戶相關信息，步驟暫略。

# 重複值
df = df.drop_duplicates()

# 轉換字典
week_transform = {
    'Mon': '星期一',
    'Tue': '星期二',
    'Wed': '星期三',
    'Thu': '星期四',
    'Fri': '星期五',
    'Sat': '星期六',
    'Sun': '星期日'
}

# 提取星期
df['day_week'] = df['created_time'].str.split(' ').apply(lambda x:x[0])
df['day_week'] = df['day_week'].map(week_transform) 

# 提取日期時間
df['time'] = df['created_time'].str.split(' ').map(lambda x:x[-1]+'-'+x[1]+'-'+x[2]+' '+x[3])
df['time'] = df.time.str.replace('May', '05').str.replace('Jun', '06')

# text 字段處理
pattern = '<span.*?</span>|<a.*?</a>'

df['text'] = [re.sub(pattern, '', i) for i in df['text']]

# 刪除列
df = df.drop(['created_time', 'user_id', 'screen_name'], axis=1)

經過清洗之後的數據格式如下：

df.head()

03 數據可視化分析

我們使用pyecharts和stylecloud進行可視化分析，此處只展示部分代碼。

#如果去擺地攤該做什麼生意?#

def get_cut_words(content_series):
    # 讀入停用詞表
    stop_words = [] 

    with open("stop_words.txt", 'r', encoding='utf-8') as f:
        lines = f.readlines()
        for line in lines:
            stop_words.append(line.strip())

    # 添加關鍵詞
    my_words = ['胸口碎大石', '烤冷麪', '貼膜', '賣衣服', '套大鵝'] 
    for i in my_words:
        jieba.add_word(i) 

    # 定義停用詞
    my_stop_words = ['信公號', '擺地攤', '擺攤', '地攤', '哈哈哈哈', '手機',
                    '這是', '這是哪', '哈哈哈', '真的', '一千', '專業',
                    '有人', '我要', '那種', '只能', '好喫', '喜歡', '城管',
                    '評論', '賣點', '有沒有', '祕籍',
                    ]
    stop_words.extend(my_stop_words)               

    # 分詞
    word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False)

    # 條件篩選
    word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2]

    return word_num_selected

# 分詞
text = get_cut_words(content_series=df.text)

# 獲取top10
shengyi_num = pd.Series(text)
num_top10 = shengyi_num.value_counts()[:10]

# 條形圖
bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px')) 
bar1.add_xaxis(num_top10.index.tolist())
bar1.add_yaxis('', num_top10.values.tolist()) 
bar1.set_global_opts(title_opts=opts.TitleOpts(title='如果去擺地攤該做什麼生意-Top10'),
                     visualmap_opts=opts.VisualMapOpts(max_=150)
                    ) 
bar1.render()

# 繪製詞雲圖
stylecloud.gen_stylecloud(text=' '.join(text), 
                          collocations=False,
                          font_path=r'‪C:\Windows\Fonts\msyh.ttc',   # 更換爲本機的字體
                          icon_name='fas fa-pie-chart',
                          size=768,
                          output_name='如果去擺地攤該做什麼生意.png')
Image(filename='如果去擺地攤該做什麼生意.png')

CDA數據分析師出品

作者：Mika

數據：真達

後期：澤龍

Python解讀：地攤經濟火了，你想好擺攤去賣什麼了嗎？

[轉帖]cpupower

今天，昨天，近七天，近30天，近90天，js封裝

應屆生面試數據分析的那些“套路”，你都知道嗎？

學習數據分析過程中那些省錢的小技巧

想做數據分析，這幾個壞習慣必須要改掉

初級業務數據分析師怎麼做職業規劃？

什麼樣的人適合做數據分析師？

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結