用Python分析淘寶2000款TT，得出這些有趣的結論

點擊上方豬哥Python關注，跟着豬哥學Python

到現在爲止，我們的淘寶教程已經寫到了第四篇，前三篇分別是：

• 第一篇： Python模擬登錄淘寶，詳細講解如何使用requests庫登錄淘寶pc端。
• 第二篇： 淘寶自動登錄2.0，新增Cookies序列化，教大家如何將cookies保存起來。
• 第三篇： Python爬取淘寶商品TT，教大家如何爬取淘寶pc端商品信息。

今天，我們來看看淘寶系列的第四篇

我們在上一篇的時候已經將淘寶數據爬取下來了，但是並沒有做數據分析。所以今天這篇文章就是教大家如何去分析數據，得出一些有用的結論！

Python語言相比其他語言的優勢在哪裏？豬哥認爲是 數據分析和 人工智能這兩大塊，而且這兩個方向需求會慢慢增大，所以那些想學習Python卻不知道要朝着哪個目標學習的同學可以考慮往這兩個方向發展！

一、分析目標

數據分析之前我們需要清楚的知道自己想要分析什麼東西，也就是先搞清楚我們的目標。在公司可能是公司財報、用戶增量變化、產品受歡迎程度、一些報表等等。

那我們今天的目標有哪些呢？我們來看看：

1. 分析避孕套標題高頻關鍵字
2. 分析避孕套標題高頻關鍵字 與 商品數量關係
3. 分析避孕套標題高頻關鍵字 與 平均銷量關係
4. 分析避孕套標題高頻關鍵字 與 平均售價關係
5. 分析避孕套商品價格區間分佈關係
6. 分析避孕套商品銷量區間分佈關係
7. 分析避孕套商品價格區間 與 平均銷量關係
8. 分析避孕套商家數量全國分佈關係
9. 分析避孕套商家全國平均銷量關係
   
   

注意： 以上數據分析全部基於上次爬取的2500款淘寶商品（默認排序），並不代表淘寶所有避孕套商品！

二、分析實現

有了明確的目標之後，我們就要開始技術選型。

首先數據處理的庫這個很好確定，基本就是 numpy和 pandas這兩個必備的庫，所以大家首先確保已經安裝了這兩個庫。

然後數據可視化庫呢？這麼多可視化庫該怎麼選？如果你不知道怎麼選，那豬哥給你推薦： pyecharts 這個由中國人開發的可視化庫，想要什麼類型的圖在下面文檔裏面找就行。

中文文檔：https://pyecharts.org/#/zh-cn/intro
源碼地址：https://github.com/pyecharts/pyecharts

最後技術選型完畢，我們就可以開始正式的敲代碼分析了。（分析的標題將和上面的分析目標一一對應）

0.數據清洗

在我們數據分析之前，我們需要對數據進行清洗。因爲從淘寶爬取下來的數據並不是標準的數據，比如：商品銷量，爬取下來的數據是： 2.5萬+人付款，我們需要將它轉爲： 25000（整型），這樣才方面後面的處理！

我們先來看看從淘寶爬取的原始數據，看看那些數據需要清洗

根據使用庫的經驗豬哥認爲有兩列數據需要清洗：1、銷量轉成整型 2、地區轉成只包含省份，具體如何清洗我們直接看代碼吧！

大家可以看到最後豬哥又從新生成了一個excel文件，目的就是不去污染原始數據， 因爲原始數據非常重要，所以我們在以後的數據處理中要儘量保存好原始數據，多備份幾個都不多餘！

1.分析避孕套標題高頻關鍵字

數據清洗完畢之後，我們就可以開始分析了。

分析標題高頻關鍵字這都是老生常談的一個流程，也就是使用jieba分詞，然後統計詞頻，最後生成一個詞雲圖，我相信經常看豬哥公衆號的同學看都看膩了吧，這種小功能閉着眼睛都會了。

十幾行代碼就搞定了，我們來看看效果圖吧


分析結論：

1. 從整體看商家取名偏愛情趣二字
2. 從材質看尿酸的最多
3. 從功能看顆粒、螺紋的較多

ps：別問豬哥最中意哪個詞，問就是 延時。

2.分析避孕套標題高頻關鍵字 與 商品數量關係

上面我們只看到大概哪些功能受歡迎，如果需要看具體的數據怎麼辦呢？

我們就來統計一下包含這些高頻關鍵詞的商品數據數量吧，代碼講解在圖片下方，下同！

我們取最高頻的20個關鍵字，然後遍歷所有數據的標題中是否包含其中關鍵字，如果包含則該關鍵字的value就+1。來看看生成的柱狀圖效果吧！

分析結論：

1. 包含情趣二字的商品有1150款，佔到總數（2500款+）的46%。
2. 前三甲是：情趣、尿酸、顆粒

ps：豬哥有個疑問想請教各位老司機：這個 免洗 是咋玩的？

3.分析避孕套標題高頻關鍵字 與 平均銷量關係

這個分析有意思了，就相當於用戶更喜歡哪種功能或者材質的套套。

高頻關鍵字與平均銷量分析數據的實現方法是，同樣遍歷所有數據的標題，如果包含某個關鍵字，則把該項數據的銷量放在關鍵字的value中（一個list），統計完後再對每個關鍵字的value進行求平均值，最後再根據平均銷量排序。來看看效果吧！

分析結論：

1. 螺紋功能平均銷量最高，大家的最愛
2. 功能平均銷量前三分別是：螺紋、顆粒、狼牙
3. 小號竟然上榜，哈哈

ps：有很多同學問：爲什麼不是超薄？超薄自己是爽了，可女朋友呢？

4.分析避孕套標題高頻關鍵字 與 平均售價關係

分析完大家喜歡的功能，再來分析下這些功能的價格如何？哪些功能的避孕套比較貴呢？


高頻關鍵字 與 平均售價關係分析原理與上面是相似的，使用的同一個方法，只不過是將原來的銷量換成價格，來看看效果圖吧！


分析結論：

1. 可以看到前排幾個基本都是關於材質的
2. 凝膠、透明質、免洗這三項均價最貴，超過100大洋

ps：類似凝膠、透明質、免洗的哪位老司機用過，和一般的有啥區別？

5.分析避孕套商品價格區間分佈關係

商品的標題和功能差不多分析完了，我們來分析下價格吧！


豬哥人爲的對價格進行了劃分，一共分爲：’0-20’, ‘21-40’, ‘41-60’, ‘61-80’, ‘81-100’, ‘101-120’, ‘121-150’, ‘151-200’, ‘200以上’這9個區間，然後對數據切割、統計、排序，最後分別生成柱狀圖和餅圖。



分析結論：

1. 價格區間在21-40的商品最多爲778款，大約佔比31%。
2. 價格在一百以內與超過一百的商品比大概爲7:1

ps：沒想到還有這麼多超過100塊的，我想問下200塊價格的套套是啥感覺？

6.分析避孕套商品銷量區間分佈關係

分析完價格當然是分析銷量區間了

銷量區間分佈分析實現原理：認爲爲銷量分區，大概分爲：’一千以內’, ‘一千到五千’, ‘五千到一萬’, ‘一萬到五萬’, ‘五萬到十萬’, ‘十萬以上’，這六個區間，然後同上方法進行統計、排序最後可視化。



分析結論：

1. 銷量在1000以內的最多，大概佔比90%
2. 銷量過萬的一共也才10款，說明爆款真的很少
3. 有一款套套銷量竟然超過10萬

ps：想知道那款超過10萬銷量的避孕套商品信息嗎？關注豬哥微信公衆號「裸睡的豬」回覆：爆款套套，即可查看！

7.分析避孕套商品價格區間 與 平均銷量關係

假如你是一個避孕套賣家，新推出一款避孕套，你想知道價格定爲多少銷量纔會比較高呢？

這時候我們就可以通過分析價格與商品的銷量關係，用實際的數據來定價，這也正是數據分析的價值之一。

商品價格區間 與 平均銷量關係分析實現原理是：使用pandas自動分區將價格劃分爲12個分區，然後對銷量數據分組、求平均值，來看看可視化之後的效果。


分析結論：

1. 定價在31.9-39這個區間平均銷量最高，爲893
2. 定價在10元以內的銷量竟然高居第二

ps：誰用過10以內一盒的套套，出來走走

8.分析避孕套商家數量全國分佈關係

標題、價格、銷量都分析過了，最後我們還分析下商家位置的數據。

分析的目標是統計全國各省避孕套商家數量，然後做成熱力圖和柱狀圖。

統計商家數量還是比較簡單，因爲我們之前在數據清洗的時候已經只保留了省份數據，所以直接value_counts()就可以得到想要的數據，看看效果如何！



分析結論：

1. 避孕套商家前三甲：廣東、上海、浙江

ps：貴州四周都有賣套套的，爲何就它沒有？難道和地理有關？

9.分析避孕套商家全國平均銷量關係

分析完商家數後，我們來看看各省的平均銷量吧。

商家全國平均銷量關係分析實現原理：我們新創建一個透視表並對銷量求平均值，然後再排序，最後生成熱力圖和柱狀圖。

分析結論：

1. 出乎意料的是山西39個商家平均銷量竟然是第一爲1535。

ps：爲何山西平均銷量是第一？原因是啥真想不通

三、總結

通過上面的數據分析，我們得到了一些有趣的結論：

1. 用戶偏愛螺紋、顆粒、狼牙等功能
2. 凝膠、透明質、免洗這三項均價最貴，超過100大洋
3. 價格區間在21-40的商品最多爲778款，大約佔比31%
4. 銷量在1000以內的最多，大概佔比90%
5. 定價在31.9-39這個區間平均銷量最高，爲893
6. 避孕套商家數量前三甲：廣東、上海、浙江
7. 山西省平均銷量最高爲山西

通過上述分析結果，如果豬哥作爲一個避孕套商家，想要推出一款產品，設置標題帶螺紋、顆粒、狼牙，價格設置在31.9-39元，這樣可能會更暢銷一些。

數據分析作爲一把利刃，能讓你看見別人看不見的事物，如果使用得當完全可以作爲你創業的一個重要支點！

最後豬哥再送你一句忠告：想學數據分析，一定要學好pandas！

源碼（或閱讀原文）：https://github.com/pig6/taobao_spider

本文分享自微信公衆號 - 豬哥Java（pig-python）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。