爬取(食品招商网)app www.spzs.com 里面的代理信息,web上无法显示,只能下载app
爬取流程:
1.电脑和手机连接同一个wifi,设置fiddler端口8888,设置手机wifi为手动连接,ip地址同电脑,端口同fiddler
2.手机浏览器访问 ip:端口,下载fiddler证书(我刚刚连接的时候可能是操作太快,网络无法访问,下次记得重启一下fiddler或者等待一会)
3.fiddler抓包成功后,手机打开app
4.发现这种app几乎没有反爬,直接把headers和data复制过来,在python里面构造一下
爬取完成
这是比较简单的app爬虫,困难点的需要xpose和just trust me ,再难一点则要js逆向来获取某些参数(以后随缘更新,如果有业务需求再来拓展)