反爬手段以及应对的方法

反爬手段以及应对的方法

限制IP

限制Cookie

概念

Alt text

搜狗微信公众号文章的爬取

前言

weixin.sogou.com 是一个反爬极其严厉的站点。ip地址,cookie,验证码都有限制。尤其对cookie的限制
爬取 sogou.weixin.com 的 HTTP 请求的 Cookie 中,必须包含四个参数:SNUID 、SUID、ppinf 和ppmdig。

其中 SNUID 和 SUID 是访问 sogou.weixin.com 必须的,

而 ppinf 和 ppmdig 是访问后十页必须的。

对于禁封 Cookie,主要是禁封参数 SNUID。假如出现了验证码封禁,其实只是给你传送了一个新的参数 SNUID。

解决措施

构造一个 SNUID 参数池,当我们的请求返回的状态码是 302 时,我们就使用一个全新的请求头,这时我们就可以成功突破 Cookie 的封禁。

验证码

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章