文章轉載自公衆號「Python網絡爬蟲與數據挖掘」
運行平臺： Windows
Python版本： Python3.x
IDE： Sublime text3
1 前言
暑假回家，”小皇帝”般的生活持續了幾天，頭幾天還挺舒服，閒久了頓時覺得好沒意思。眼看着10天的假期就要結束，曾信誓旦旦地說要回家學習，可拿回家的兩本書至今一頁未翻，強烈的負罪感一直催促着：”你該學習了，你該學習了…”
我之前的爬蟲博客，爬的都是網頁的信息，什麼下載小說啊，下載動漫啊，下載帥哥圖、妹子圖啊。玩這些東西的時候，你想過爬取手機APP裏面的東西嗎？
2 實戰背景
程序員的鄙視鏈，您聽說過嗎？話說：老婆漂亮的程序員，鄙視老婆不漂亮的程序員；有老婆的程序員，鄙視沒有老婆的程序員；沒有老婆有女朋友的程序員，鄙視單身狗；在單身狗之間，纔有語言、編輯器和操作系統的互相鄙視。
不知爲何，看到這句話的時候，我的內心陣陣絞痛。現在看看，這遊戲也是如此。玩星際的，鄙視玩dota的；玩dota的，鄙視玩lol的；玩lol的，鄙視玩王者榮耀的。雖說王者榮耀處於遊戲鄙視鏈的低端，但是不得不說，它確實有自己獨到的魅力，正因爲它降低了玩家的門檻，纔有瞭如今的全民王者的熱潮。你永遠不知道自己匹配的隊友和對手是老人，還是小孩。或者換種說法，是人，還是動物？
毫無疑問，王者榮耀從全民熱度等諸多表現上看，是非常成功的遊戲。可謂男女老少通吃，本文不討論到底是女大學生坑，還是小學生坑，這樣高難度的問題。
咱玩點簡單的，讓我先看一款王者榮耀神器-王者榮耀盒子。《王者榮耀盒子》是專門爲《王者榮耀》玩家量身打造的一款攻略應用，可謂上分必備神器，這裏有職業選手教你英雄出裝、銘文搭配和各種對線團戰技巧，同時它也整合最全的遊戲諮詢以及遊戲實時動態。先看看它長什麼樣：
本節課的內容，就是爬取《王者榮耀盒子》這款APP上的信息，廢話不多說，直接開始實戰！
3 準備工作
1 什麼是Fiddler?
Fiddler是位於客戶端和服務器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和服務器之間的所有 HTTP請求，可以針對特定的HTTP請求，分析請求數據、設置斷點、調試web應用、修改請求的數據，甚至可以修改服務器返回的數據，功能非常強大，是web調試的利器。
既然是代理，也就是說：客戶端的所有請求都要先經過Fiddler，然後轉發到相應的服務器，反之，服務器端的所有響應，也都會先經過Fiddler然後發送到客戶端，基於這個原因，Fiddler支持所有可以設置http代理爲127.0.0.1:8888的瀏覽器和應用程序。使用了Fiddler之後，web客戶端和服務器的請求如下所示：
利用可以設置代理的這個特點，我們就可以對手機APP進行抓包了。怎麼設置？不急不急，讓我先把Fiddler安裝上吧！
傻瓜式安裝，一鍵到底。Fiddler軟件界面如圖所示：
2 手機APP抓包設置
1 Fiddler設置
打開Fiddler軟件，打開工具的設置。(Fiddler軟件菜單欄：Tools->Options)
在HTTPS中設置如下：
在Connections中設置如下，這裏使用默認8888端口，當然也可以自己更改，但是注意不要與已經使用的端口衝突：
2 安全證書下載
3 安全證書安裝
證書是需要在手機上進行安裝的，這樣在電腦Fiddler軟件抓包的時候，手機使用電腦的網卡上網纔不會報錯。
將下載好的FiddlerRoot.cer安裝證書拷貝到手機中，然後進行證書安裝(以小米5手機爲例)，設置(Settings)->(系統和設備中的)更多設置->系統安全->從存儲設備安裝：
然後找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之後，可以在信任的憑證中找到我們已經安裝好的安全證書，在用戶中可以看到證書如下：
4 局域網設置
想要使用Fiddler進行手機抓包，首先要確保手機和電腦的網絡在一個內網中，可以使用讓電腦和手機都連接同一個路由器。當然，也可以讓電腦開放WIFI熱點，手機連入。這裏，我使用的方法是，讓手機和電腦同時連入一個路由器中。最後，讓手機使用電腦的代理IP進行上網。
首先，查看電腦的IP地址，在cmd中使用命令ipconfig查看電腦IP地址。找到無線局域網WLAN的IPv4地址，記下此地址。
在手機上，點擊連接的WIFI進行網絡修改，添加代理。進行手動設置，主機名即爲上圖中找到的IP地址，端口號即爲Fiddler設置中的端口號8888：
5 Fiddler手機抓包測試
上述步驟都設置完成之後，用手機瀏覽器打開百度首頁，我們就可以順利抓包了，截圖如下：
4 實戰走起
1 下載英雄圖片
先來個簡單的例子熱熱身，我想將《王者榮耀盒子》中的英雄圖片下載下來，該如何操作？
先使用Fiddler抓包看一下，在手機APP《英雄聯盟盒子》中的菜單中點擊英雄，電腦Fiddler就會抓包如下：
可以看到，GET請求的url地址，和返回的JSON格式的信息。那麼編寫代碼如下：
從代碼運行結果中可以看到，百里玄策的英雄ID爲104，他的圖片存放地址爲
知道了這些信息，我們就可以將這些英雄的圖片進行下載了，編寫代碼如下：
運行上述代碼，看下結果，72個英雄的圖片，分分鐘搞定：
是不是很簡單？接下來，再玩一個加點難度的。
2 英雄推薦出裝查詢助手
點擊百里玄策這個英雄，可以看到，裏面有他的簡介，包括技能介紹，以及推薦出裝等。那麼，我們就了利用這個做一個自己的英雄出裝查詢小助手吧。
手機點擊百里玄策這個英雄，可以在電腦Fiddler看到如下抓包內容：
我們看下GET請求的URL：
很有特點發現了嗎？在url的hero_id爲104，在上個小實例中，我們發現，這個104正好是英雄的id，那麼是不是可以通過設置這個id來訪問不同的英雄界面呢？測試一下答案就出來了，我們將id改爲103，也就是女媧的hero_id，編寫代碼如下：
運行上述代碼，我們可以看到，打印的信息確實是英雄女媧的信息，返回的信息顯示，這個英雄還沒有上線。推薦出裝保存在equip_choice中，可以看到這裏沒有給出裝備的名字，只有裝備的equip_id，那麼在寫推薦出裝小程序之前，我們需要獲取所有裝備的ID。
怎樣獲取武器的信息？抓包方法同上，點擊裝備大全：
通過Fiddler抓包信息，編寫代碼如下：
這樣我們就輕鬆得到了各個裝備的信息：
到這裏，我們就可以整合代碼了，首先通過獲取每個英雄的ID，然後根據每個英雄的ID，再獲得英雄的詳細信息，包括推薦出裝，最後通過推薦的裝備ID，找到裝備的信息並打印出來。
根據實現效果，自己編寫代碼試一試如何？
5 總結
- 本文的例子沒有什麼實際價值，不過對於入門手機APP內容的爬取有一定的幫助作用。
- 趁着《王者榮耀盒子》APP沒有更新，很好爬，趕緊動手實踐吧！
- 爬取APP的內容和爬取網頁的思路是一樣的，都是通過抓包進行分析。
- 如有問題，請留言。如有錯誤，還望指正，謝謝！