Python北理工mooc爬虫笔记之requests库

request.get()函数原型

request对象的属性方法

 

r.text与r.content的区别

r.text是程序根据猜测的响应内容编码方式来编写的,也就是r.encoding,这个编码方式是从返回信息中的headers中获取到的,如果headers中没有,那么则默认为ISO-8859-1,而r.apparent_encoding是从网页html文件中信息解析出来的编码,一般来说使用r.text获取网页的信息,如果r.text出现乱码,才会使用r.content.decoding("r.apparent_encoding")来读取网页信息

 Requests库的异常

爬取网页的通用代码框架

Request库的基本方法

http协议 

其中URL格式为

URL举例

HTTP对资源的操作种类

补充:当我们发现我们要访问的资源很大时,让服务器返回信息需要花费很大的代价时,我们可以使用head让服务器返回资源的头部信息。

PATCH和PUT的区别

Request库的head()方法

 Request库中的post()方法

 

 

Requests库的put方法

 

requests.request函数的原型

可以使用requests.request('GET',url)也可以使用requests.get(url),后者是将前者封装起来的方法

13个参数

1.params

我们提交的键值对会放在url链接里

2.data

 这时候我们的键值对会放在url链接对应的数据域里存储

3.json

html最经常使用的数据格式

4.headers

对应向某个http发起请求时的头字段,可以在请求时附加headers来伪装爬虫

 

 5和6.cookies和auth

 

 

7.files

8.timeout

9.proxies

 

剩下的参数为

 

requests.get函数

requests.head()函数

 

requests.post()函数

 

requests.delete()函数

 

 

为什么这些函数会把requests.request里的kwargs参数提到外面来呢?是因为提到外面的都是常用的,便于我们直接赋值

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章