抓取静态页面的信息

公管学院的专业书单

任务要求:
抓取上述书单的信息,制作成xls文档。
过程分析:
由于只是抓取静态页面的信息,不需要模拟登陆网站,任务被简化——每一个页面生成一个以专业名称为文档名的xls文档。
第一步、在开发者工具中分析页面源码,找到我们需要的书籍信息的位置。
第二步、截取对应信息,一部分str1作为文档名,一部分str2作为文档内容。
第三步、新建一个xls文档,将str2存入文档,将文档名改为str1。
实际操作:
第一步:
1、文档名所在源码
文档名所在源码
2、文档内容所在源码
文档内容所在源码
第二步:
1、通过截取函数,将对应信息从页面源码中截取出来。
截取内容代码
2、将截取的文档内容中我们需要的内容提取出来
截取内容提取代码
第三步、新建xls文档,将需要内容存入文档,并改文档名
写入文档部分代码
PS:在重命名文档时,有一个转码过程,不然重命名的文档名会出现乱码。因为Windows不支持utf-8格式,只支持gb2312格式。

结果展示:

结果展示图片

后期改进一
鉴于一个一个的复制URL太麻烦了,我使用文件和循环来一次进行。
第一步:将所有URL存入Excel文档
代码图片如下:
文件代码
循环部分:
循环产生

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章