有些站点在初次访问的时候会有cookie验证,会拒绝请求,因为代码使用htmlunit或者selenium浏览器的时候每一次都是全新启动所以没有cookie 这个时候重新刷新一下界面可以解决大部分问题:)
注 : 不要忘了开启cookie支持(如果默认关闭或者没开的情况下)
注:这个是我的个人经验,并没有深究,爬虫也没有很niubility 欢迎交流 指导 3Q
cookie反爬措施的应对
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
有些站点在初次访问的时候会有cookie验证,会拒绝请求,因为代码使用htmlunit或者selenium浏览器的时候每一次都是全新启动所以没有cookie 这个时候重新刷新一下界面可以解决大部分问题:)
注 : 不要忘了开启cookie支持(如果默认关闭或者没开的情况下)
注:这个是我的个人经验,并没有深究,爬虫也没有很niubility 欢迎交流 指导 3Q