requests

requests 库：
1:requests库的7个主要方法
requests.request()：构造一个请求，支撑以下各方法的基础方法
requests.get()：获取HTML网页的主要方法，对应于HTTP的GET
requests.head()：获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()：向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put():向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()：向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete():向HTML网页提交删除请求，对应于HTTP的DELETE
2:自动爬取html页面 自动网络请求提交
 r = requests.get(url)
(1)get方法和url构造了一个向服务器请求资源的Request对象
(2)返回一个包含服务器资源的Response对象
3:Response 对象的属性
r.status_code http请求的状态码，200表示链接成功，其他或者404表示失败
r.txt HTTP响应内容的字符串形式，即：url对应的页面内容
r.encoding 从HTTPheader中猜测的响应内容的编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式()更准确
r.contend HTTP响应内容的二进制形式
先看返回的的状态码
import requests
r = requests.get("http://www.baidu.com")
r.status_code
4:Requests库异常
requests.ConnectionError：网络链接错误异常，如DNS查询异常、拒绝链接等。
requests.HTTPError：HTTP错误异常（HTTP协议异常）
requests.URLRequired：URL缺失异常
requests.TooManyRedirects：超过最大重定向次数，产生重定向异常
requests.ConnectTimeout：链接远程服务器超时异常
requests.TimeOut :请求URL超时，产生超时异常
r.raise_for_status():如果不是200，产生异常requests.HTTPError
5:爬取网页的通用代码框架:（网络连接有风险，异常处理很重要）
import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__":
    url = "http//www.baidu.com"
    print(getHTMLText(url))