尝试写个爬虫(3)

http请求与数据下载

http(超文本传输协议)

通常http用于传输文本信息,当然也可以传输二进制或者各种流式文件。

通信原理如下:

1.建立tcp会话连接,通常指一次socket连接;

2.client端向server端发送请求命令,即http请求头;

3.server端响应client端请求,生成http返回头,以及返回的数据,发送client端;

4.通信结束,释放本次连接。


http请求头

http请求分为两部分:

1.请求内容信息:  Method   Request-URI   HTTP-VersionCRLF

Method表示对于Request-URI完成的方法,这个字段是大小写敏感的


Request-URI:请求的资源文件路径,遵循URI格式,为(*)时,说明请求并不用于某个特定的资源地址,而是用于server本身。

HTTP-Version:表示支持的HTTP版本。

2.请求实体参数:  实体名:实体值

可用”:”或者空格或者制表符隔开



数据下载

对于一次http下载,数据分为两个部分,前一部分是http响应头信息;后一部分是http数据体。这里并不涉及数据的解析,因此将服务器发送的数据统一对待。


注意后面补上代码和测试结果



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章