Python爬蟲入門教程 38-100 教育部高校名單數據爬蟲 scrapy

爬前叨叨

今天要爬取一下正規大學名單，這些名單是教育部公佈具有招生資格的高校名單，除了這些學校以外，其他招生的單位，其所招學生的學籍、發放的畢業證書國家均不予承認，也就是俗稱的野雞大學！

網址是 https://daxue.eol.cn/mingdan.shtml 爬取完畢之後，我們進行一些基本的數據分析，套路如此類似，哈哈

這個小項目採用的是scrapy，關鍵代碼

import scrapy
from scrapy import Request,Selector

class SchoolSpider(scrapy.Spider):
    name = 'School'
    allowed_domains = ['daxue.eol.cn']
    start_urls = ['https://daxue.eol.cn/mingdan.shtml']

    def parse(self, response):
        select = Selector(response)
        links = select.css(".province>a")
        
        for item in links:
            name = item.css("::text").extract_first()
            link = item.css("::attr(href)").extract_first()

            if name in ["河南","山東"]:
                yield Request(link,callback=self.parse_he_shan,meta={"name" : name})
            else:
                yield Request(link,callback=self.parse_school,meta={"name" : name})

注意到幾個問題，第一個所有的頁面都可以通過第一步抓取到

但是裏面出現了兩個特殊頁面，也就是山東和河南

北京等學校

河南等學校

對於兩種不同的排版，我們採用2個方法處理，細節的地方看代碼就可以啦！
尤其是下面對字符串的處理，你要仔細的查閱~

    # 專門爲河南和山東編寫的提取方法
    def parse_he_shan(self,response):
        name = response.meta["name"]
        data = response.css(".table-x tr")
        for item in data:
            school_name = item.css("td:not(.tmax)::text").extract()

            if len(school_name)>0:
                for s in school_name:
                    if len(s.strip())>0:
                        if len(s.split("."))==1:
                            last_name = s.split(".")[0]
                        else:
                            last_name = s.split(".")[1]  # 最終獲取到的名字
                        yield {
                            "city_name": name,
                            "school_name": last_name,
                            "code": "",
                            "department": "",
                            "location": "",
                            "subject": "",
                            "private": ""
                        }

    # 通用學校提取
    def parse_school(self,response):
        name = response.meta["name"]

        schools = response.css(".table-x tr")[2:]

        for item in schools:

            school_name = item.css("td:nth-child(2)::text").extract_first()
            code =  item.css("td:nth-child(3)::text").extract_first()
            department = item.css("td:nth-child(4)::text").extract_first()
            location = item.css("td:nth-child(5)::text").extract_first()
            subject = item.css("td:nth-child(6)::text").extract_first()
            private = item.css("td:nth-child(7)::text").extract_first()
            yield {
                "city_name":name,
                "school_name":school_name,
                "code":code,
                "department":department,
                "location":location,
                "subject":subject,
                "private":private
            }

運行代碼，跑起來，一會數據到手。O(∩_∩)O哈哈~

查看專科學校和本科學校數量差別

因爲河南和山東數據的缺失，需要踢出這兩個省份

import pymongo
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

client = pymongo.MongoClient("localhost",27017)
schools = client["school"]
collection = schools["schools"]

df = DataFrame(list(collection.find()))

df = df[df["code"]!=""]
# 彙總本科和專業
df.groupby(["subject"]).size()

結果顯示，數量基本平衡

subject
專科    1240
本科    1121
dtype: int64

查看各省排名

rank = df.groupby(by="city_name").size()
rank = rank.sort_values(ascending=False)

# 設置中文字體和負號正常顯示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(12,8),dpi=80)
plt.subplot(1,1,1)


x = np.arange(len(rank.index))
y = rank.values
rect = plt.bar(left=x,height=y,width=0.618,label="學校數目",align="center",color="#03a9f4",edgecolor="#03a9f4",)

plt.xticks(x,rank.index,rotation=45,fontsize=9)
plt.yticks(np.arange(0,180,10))


plt.xlabel("城市")
plt.ylabel("大學數量")

plt.legend(loc = "upper right")

# 編輯文本

for r in rect:
    height = r.get_height() # 獲取高度
    
    plt.text(r.get_x()+r.get_width()/2,height+1,str(height),size=6,ha="center",va="bottom")

plt.show()

好好研究這部分代碼，咱已經開始慢慢的在爬蟲中添加數據分析的內容了，我會盡量把一些常見的參數寫的清晰一些

江蘇和廣東大學真多~