「docker實戰篇」python的docker爬蟲技術-fiddler分析app抓取（12）

原創文章，歡迎轉載。轉載請註明：轉載自IT人故事會，謝謝！
原文鏈接地址：「docker實戰篇」python的docker爬蟲技術-fiddler分析app抓取（12）

之前說了安卓模擬器使用和抓包工具的使用，之前其實就是在磨刀，俗話說的好磨刀不誤砍柴工，下一步就是數據的抓取。

準備工作

• 啓動fiddler
  

本機ip 192.168.1.122

• 夜神模擬器設置

  橋接

wifi設置

剛纔windows系統查詢出來的ip

• app安裝（XX美食）

  找個比較容易抓取的開始上手吧，在夜神模擬器市場中搜：豆果，下載圖片中的app

抓取目標

點擊圖片中的分類

• 分析app的數據

  正常的app，請求的連接都是域名的方式，並且跟自己的app的名稱相關。
  例如：豆果美食，app的請求連接也都是有dougou。

進入fiddler裏面，ctrl+f，輸入dougou

找到一個請求，發現返回是Unicode編碼，需要進行一些解碼

複製返回結果Unicode編碼到json.cn查看

分類發現跟app一致，任何app想進行動態的開發，都是通過請求獲取的。

查看詳情

下拉類別下牛肉的發現一個規律，原來每頁15條，哈哈url裏面有規律

PS：本次通過fiddler監控和發現app請求的規則。下次開始寫python腳本進行爬取數據。