网站爬虫学习记录

好多年没有写技术博客了，今天开始重新学习技术，更新技术博客。

本日学习了网站爬虫。

所用工具为requests，学习了相关的接口，学习了robot协议，查看了百度的robots.txt文件。

还学习了一个库，用于解析文件，目前还没有学会。