scrapy中出现[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to 如何解决

这期间,已经使用了 User-Agent,并且源连接直接在浏览器打开并不跳转,也使用requests测试,发现并没有被重定向。

搜索很久很久无果,然后无奈开始关注 [scrapy.downloadermiddlewares.redirect] DEBUG 这个东西难道是我开启了某个配置,检查完并没有配置与这个相关的,但是突然发现我竟然配置了一个 DEFAULT_REQUEST_HEADERS

这个是之前做百度搜索时配置的,里面指定了host,爬虫一加载就会使用这个header,结果这里指定的host跟源链接里面的不匹配,就发生了重定向。后面一注释就好了..
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章