爬取(食品招商網)app www.spzs.com 裏面的代理信息,web上無法顯示,只能下載app
爬取流程:
1.電腦和手機連接同一個wifi,設置fiddler端口8888,設置手機wifi爲手動連接,ip地址同電腦,端口同fiddler
2.手機瀏覽器訪問 ip:端口,下載fiddler證書(我剛剛連接的時候可能是操作太快,網絡無法訪問,下次記得重啓一下fiddler或者等待一會)
3.fiddler抓包成功後,手機打開app
4.發現這種app幾乎沒有反爬,直接把headers和data複製過來,在python裏面構造一下
爬取完成
這是比較簡單的app爬蟲,困難點的需要xpose和just trust me ,再難一點則要js逆向來獲取某些參數(以後隨緣更新,如果有業務需求再來拓展)