requests 模块

使用requests 模块报错

今天写requests 模块来爬取百度百科的时候,突然报了一个没有见过的错误,为了之后更好的学习,我决定记录下来,毕竟好记性不如烂笔头
报错内容:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
查了一下,发现是重定向的原因,不知道为什么会重定向,但是既然出现了这个问题,那就想办法解决
我首先是将requests的请求添加中添加了allow_redirects=False这个属性,默认是true
添加完之后执行,发现另外一个问题,这个时候返回状态码是 302,如下图:
在这里插入图片描述

我们采取第二个办法:使用session
代码如下:
sessions = requests.session()
sessions.headers[
‘User-Agent’] = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36’
html = sessions.get(‘xxxx’)
print(html)

这个时候返回的状态码为200 ,成功解决!

发布了22 篇原创文章 · 获赞 3 · 访问量 1万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章