微信指數批量採集、導出

【內容摘要】


備註:本文只做採集思路的筆記,不做具體技術文檔。微信在2017年上旬推出了微信指數這個小程序,可以根據用戶輸入的關鍵詞查詢該關鍵詞7天、30天、90天的搜索熱度。本文旨在記錄批量採集微信指數的思路。


【正文】


由於老婆大人工作需要,不得已研究了一下如何批量導出“微信指數”小程序中的關鍵詞指數。

一、手動+代理

    由於時間緊任務重T.T,起先採用了一個比較笨的方法,利用anyproxy抓包手機流量,找到關鍵詞指數信息對應的json文件。思路是沒輸入一個關鍵詞,就將對應的json文件保存下來,手動替換所有不要的信息,保存到txt文件中。

    此方法優點是簡單!任何抓包工具或軟件如anyproxy、fiddler或Apache proxy都能找到對應的json文件,缺點也是很明顯的,就是要手動輸入!效率低!還要手動替換不要的json中的符號,存爲excel更是麻煩!

二、手動+代理+腳本

    吸取上一個版本的經驗,爲了加快採集效率,仍然採用anyproxy抓包關鍵詞對應的json文件,然後通過anyproxy提供的接口,編寫自動化保存的腳本,由於各個工具採用的語言不太一樣,anyproxy採用nodejs語言編寫對應的接口,因此,此處就省略腳本代碼。思路很簡單,就是當代理服務器偵測到json文件後,就將相應的關鍵詞信息:微信指數存到txt文本或者數據庫中,這樣,就節省了手動保存的過程。

    此方法的優點是相比方法一節省了手動保存指數的過程,而且可以通過腳本定製存儲的方式和格式,缺點仍然是需要手動輸入關鍵詞,不夠自動化。

三、手機自動模擬按鍵輸入關鍵詞+代理+腳本

    老婆採集的關鍵詞需求增加到了上百個,仍要手動輸入是不現實的,此時就需要手機能夠自動在微信指數小程序的搜索框輸入關鍵詞。只要能夠自動輸入關鍵詞,其餘方法就和二差別不大了。對於如何實現手機的按鍵精靈以及相應的代碼(本人採用的是android系統的模擬器),百度是個好東西哈哈哈。

    此方法優點是採集的自動化程度相對比較高了!只需要有一個關鍵詞列表文件存在手機中,就可進行自動化採集!缺點也是有的,寫按鍵精靈蠻費事的,我也沒做過Android,點擊過程偶爾會出現bug,需要人工盯着。


四、python+url分析

    分析抓包得到的json文件的url,可以發現他們是有規律的,相應的參數是由小程序生成的,因此,用python寫了一個小爬蟲對分析得到的url進行採集!居然成功了!思路就是利用app小程序生成參數!傳值到python中,然後拼接url並進行採集即可!此方法十分高效!我定了每秒3個json數據仍然可以採集(如果想效率更高可以減少採集間隔,至於會不會被封我還沒試)。此方法美中不足的是url參數並不是固定的,需要app定期生成。


五、待大神完善

    能力有限,肯定還有更方便高效的採集方式,等待網絡上各路大神各顯神通^ ^。


以下是我導出的指數的一些格式,留待參考。

(1)txt格式的


(2)Excel橫版格式的


(3)Excel豎版格式的



如有需要批量導出微信指數的也可以聯繫qq 569572698,非誠勿擾。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章