此文根据嵩天老师的视频课程边听边敲下来的代码,模块化代码结构,将爬虫实例的三个步骤用三个函数实现,思路清晰,爬虫小白终于搞清楚指定URL爬取网页内容的全过程了,感谢MOOC平台,谢谢嵩老师的精细讲解。
#中国大学排名爬虫实例
#URL:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html
#输入:大学排名URL链接
#输出:大学排名信息屏幕输出。
#技术路线:requests-bs4
#定向爬虫:仅对指定URL进行爬取
#程序的结构设计
#步骤1.从网络上获取大学排名网页内容 getHTMLText()
#步骤2.提取网页内容中信息到合适的数据 结构 fillUnivList()
#步骤3.利用数据结构展示并输出结果 printUnivList()
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string,tds[1].string,tds[3].string])
def printUnivList(ulist,num):
print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
print("Suc" + str(num))
def main():
uinfo = []
url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20)
main()
运行效果时如下: