自上篇爬虫文章写完之后，好长时间都没有再写爬虫相关的了，这次重新回顾了一下爬虫的相关内容，一并记在这里。
有的东西之前虽然已经写过了，但是再废话一遍。
http/https 协议
- HTTP(Hypertext Transfer Protocol，超文本传输协议)：是一种发布和接受 HTML 网页的方法，服务器端口号为 80 端口
- HTTPS(Hypertext Transfer Protocol over SecureSocket Layer，超文本传输安全协议)：相比较于 HTTP 来说，HTTPS 多了一个 SSL，这个 SSL 就是 SecureSocket Layer 的意思，也就是说 HTTPS 是 HTTP 的加密版本。服务器端口号为 443 端口
URL
URL(Uniform Resource Locator，统一资源定位符)：简单的说，就是我们平常在浏览器中输入的网址，该网址能够定位到该资源在网络上的唯一地址。一般来说一个 URL 主要由以下几部分组成：
scheme://host:port/path/?query-string=xxx#anchor
上边的 URL 中，各个部分表示的内容为：
- scheme：表示访问资源使用的协议，一般为 ftp/http/https
- host：表示主机名，域名
- port：表示端口号
- path：表示查找路径
- query-string：表示查询字符串
- anchor：表示锚点，在前端中用于页面定位
以下边的网站为例：
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=http&rsv_spt=1
- scheme：https
- host：www.baidu.com
- path：/s
- query-string：ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=http&rsv_spt=1
可以看出在上边的 URL 中：
- 没有显式的显示端口号和锚点
- 只存在一个 ？
- 查询字符串之间使用 & 分隔连接
- URL 被输入到浏览器中时，浏览器会对之进行编码，URL 中如果存在非 ascii 字符，浏览器会将该字符编码为百分号+十六进制码值
HTTP request
- 在浏览器中输入URL
- 浏览器会向 HTTP 服务器发送 HTTP request，请求一般为 get/post
- 服务器将 response 文件返回浏览器
- 浏览器分析 response 文件，如果其中引用到了其它文件，如 image，css，js，浏览器会再次 request 对应的 image，css，js
- 当所有的文件都得到 response，浏览器会显示 HTML(有时浏览器也不一定非要等到文件完全加载之后再显示 HTML)
HTTP 请求方法
根据 HTTP 标准，HTTP 请求可以使用多种请求方法。
- HTTP1.0 定义了三种请求方法： GET, POST 和 HEAD方法
- HTTP1.1 新增了六种请求方法：OPTIONS、PUT、PATCH、DELETE、TRACE 和 CONNECT 方法
各项请求的作用为：
| 请求方法 | 描述 |
| GET | 请求指定的页面信息，并返回实体主体 |
| HEAD | 类似于 GET 请求，只不过返回的响应中没有具体的内容，用于获取报头 |
| POST | 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST 请求可能会导致新的资源的建立和/或已有资源的修改 |
| PUT | 从客户端向服务器传送的数据取代指定的文档的内容 |
| DELETE | 请求服务器删除指定的页面 |
| CONNECT | HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器 |
| OPTIONS | 允许客户端查看服务器的性能 |
| TRACE | 回显服务器收到的请求，主要用于测试或诊断 |
| PATCH | 是对 PUT 方法的补充，用来对已知资源进行局部更新 |
但在爬虫中，常用的 HTTP 请求方法主要为 get/post。
Request Headers
在发送 HTTP 请求时，数据一般分为三部分：
- 把数据放在 URL
- 把数据放在 body 中(在 post 请求中)
- 把数据放在 header 中
而一些常见的请求头参数为：
- User-Agent：浏览器名称。该参数表明了浏览器的类型，而在爬取网页时，如果不设置此参数，可能会被识别出来，因此通常情况下需要设置该参数，对爬虫进行伪装
- Referer：表明当前的页面是从哪个 URL 跳转过来的，对于某些网站来说，如果不设置此参数，可能会拒绝响应
- Cookie：表明网络应用用来存储的会话数据和其他信息，如登陆信息
常见的响应状态码
| 状态码 | 描述 |
| 200 | 请求正常，服务器正常返回数据 |
| 301 | 永久重定向 |
| 302 | 临时重定向 |
| 400 | 请求的 URL 在服务器找不到，请求 URL 错误 |
| 403 | 服务器拒绝访问，没有权限 |
| 500 | 服务器内部错误 |