網絡爬蟲提取 3-3 中國大學排名爬蟲

文章截圖均來自中國大學mooc Python網絡爬蟲與信息提取的教程，以上僅作爲我的個人學習筆記。

下面是教程鏈接：https://www.icourse163.org/learn/BIT-1001870001?tid=1450316449#/learn/content?type=detail&id=1214620493&cid=1218397635&replay=true
 

---

中國最好大學（科軟2020）

http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html

功能：輸入網站的url、輸出排名信息

技術路線：requests+bs4 庫來實現

定向爬蟲：只對於給定的url網頁進行爬取不擴張爬取其他的url

非定向爬蟲：可以從某一個url爬取更多url的信息

定向爬蟲的可行性分析：判斷我們需要提取的信息是不是包含在html頁面中，部分信息可能通過Javascript等腳本語言生成。

動態腳本信息的爬取：這兩個庫完成不了，後續會用到其他的方法

 

過程：

• 先看下源碼：要查詢的數據是不是在html頁面的源碼中
• 看看是否有對應的Robots協議：www.zuihaodaxue.cn/robots.txt ：發現網頁不存在，說明並沒有相關的爬蟲限制
• 功能描述：

    

• 程序結構設計：採取二維列表

步驟1：getHTMLText()   、步驟2：fillUnivList()    、步驟3：printUnivList()

示例編寫：

觀察封裝信息：tbody標籤裏面有多個tr標籤各自對應一個大學、tr標籤內部有包含了多個td標籤各自對應大學基本信息。

可以使用遍歷查找方法來進行獲得，實際上我們的標籤中可能出現字符串類型，所以做好事要過濾掉。

格式化輸出：

#CrawUnivRankingA.py
import requests
from bs4 import BeautifulSoup
import bs4
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
 
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[4].string])
 
def printUnivList(ulist, num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","學校名稱","總分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
     
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20) # 20 univs

main()

實例優化：字符填充有問題，採用中文字符填充

#CrawUnivRankingB.py
import requests
from bs4 import BeautifulSoup
import bs4
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
 
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])
 
def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","學校名稱","總分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
     
def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20) # 20 univs
main()

單元小結：