scrapy中出現[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to 如何解決

這期間,已經使用了 User-Agent,並且源連接直接在瀏覽器打開並不跳轉,也使用requests測試,發現並沒有被重定向。

搜索很久很久無果,然後無奈開始關注 [scrapy.downloadermiddlewares.redirect] DEBUG 這個東西難道是我開啓了某個配置,檢查完並沒有配置與這個相關的,但是突然發現我竟然配置了一個 DEFAULT_REQUEST_HEADERS

這個是之前做百度搜索時配置的,裏面指定了host,爬蟲一加載就會使用這個header,結果這裏指定的host跟源鏈接裏面的不匹配,就發生了重定向。後面一註釋就好了..
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章