網站爬蟲學習記錄

好多年沒有寫技術博客了，今天開始重新學習技術，更新技術博客。

本日學習了網站爬蟲。

所用工具爲requests，學習了相關的接口，學習了robot協議，查看了百度的robots.txt文件。

還學習了一個庫，用於解析文件，目前還沒有學會。