1.寫在前面

因工作要求初次接觸python爬蟲，網上找了一些模板，感覺這個博客挺不錯的，簡單易上手，想分享下。

https://www.jianshu.com/p/92052813be82

2.基礎爬蟲的架構以及運行流程

從圖中可看出整個基礎爬蟲架構分爲5大類：爬蟲調度器、URL管理器、HTML下載器、HTML解析器、數據存儲器。下面爲具體功能介紹：

1. 爬蟲調度器：主要是配合調用其他四個模塊，所謂調度就是取調用其他的模板。

2. URL管理器：就是負責管理URL鏈接的，URL鏈接分爲已經爬取的和未爬取的，這就需要URL管理器來管理它們，同時它也爲獲取新URL鏈接提供接口。

3. HTML下載器：就是將要爬取的頁面的HTML下載下來。

4. HTML解析器：就是將要爬取的數據從HTML源碼中獲取出來，同時也將新的URL鏈接發送給URL管理器以及將處理後的數據發送給數據存儲器。

5.數據存儲器：就是將HTML下載器發送過來的數據存儲到本地。

3.實戰爬取菜鳥筆記信息

下面演示一遍如何用爬蟲架構來爬取菜鳥筆記信息

1.創建URL管理器

#URLManager

class URLManager(object):
    def __init__(self):
        #保存未爬取url
        self.new_urls = set()
        #保存已爬取url
        self.old_urls = set()

    def has_new_url(self):
        #判斷是否有url需要爬取
        return self.new_url_size()!=0

    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

    def add_new_url(self,url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)
    def new_url_size(self):
        #未爬取url的大小
        return len(self.new_urls)

    def old_url_size(self):
        #已爬取url的大小
        return len(self.old_urls)

這裏主要是兩個集合，一個是已爬取URL的集合，另一個是未爬取URL的集合。使用set類型是因爲set自帶去重的功能

2.HTML下載器

#HTMLDownload

import requests

class HTMLDownload(object):
    def download(self,url):
        if url is None:
            return
        s = requests.Session()
        s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
        res = s.get(url)
        #判斷是否正常獲取
        if res.status_code == 200:
            res.encoding='utf-8'
            res = res.text
            return res
        return None

這裏只是簡單的獲取了url中的html源碼

3.HTML解析器

#HTMLParser

import re
from bs4 import BeautifulSoup

class HTMLParser(object):
    def parser(self,page_url,html_cont):
        if page_url is None or html_cont is None:
            return
        #解析網頁並抽取url和網頁內容
        soup = BeautifulSoup(html_cont,'html.parser')
        new_urls = self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)
        return new_urls, new_data
    def _get_new_urls(self,page_url,soup):
        new_urls = set()
        for link in range(1,10):
            new_url = "https://www.runoob.com/w3cnote/page/"+str(link)
            new_urls.add(new_url)
        return new_urls
    def _get_new_data(self,page_url,soup):
        data = {}
        data['url'] = page_url
        title = soup.find('div',class_='post-intro').find('h2')
        print(title)
        data['title'] = title.get_text()
        summary = soup.find('div',class_='post-intro').find('p')
        data['summary'] = summary.get_text()
        return data

這裏將HTML下載器的源碼進行分析和解析，從而得到了我們想要拿到的數據。可以去了解BeautifulSoup的使用

4.數據存儲器

#DataOutput

import codecs

class DataOutput(object):
    def __init__(self):
        self.datas = []
    def store_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    def output_html(self):
        fout = codecs.open('baike.html','a',encoding='utf-8')
        fout.write("<html>")
        fout.write("<head><meta charset='utf-8' /></head>")
        fout.write("<body>")
        fout.write("<table>")
        for data in self.datas:
            fout.write("<tr>")
            fout.write("<td>%s</td>" % data['url'])
            fout.write("<td>《%s》</td>" % data['url'])
            fout.write("<td>[%s]</td>" % data['summary'])
            fout.write("</tr>")
        self.datas.remove(data)
        fout.write("</body>")
        fout.write("</table>")
        fout.write("</html>")
        fout.close()

這裏爲了演示，將數據存儲到一個html的文件中

5.爬蟲調度器

#爬蟲調度器

import sys
from DataOutput import DataOutput
from HTMLParser import HTMLParser
from HTMLDownload import HTMLDownload
from URLManager import URLManager

class SpiderMan(object):
    def __init__(self):
        self.manager = URLManager()
        self.downloader = HTMLDownload()
        self.parser = HTMLParser()
        self.output = DataOutput()
    def crawl(self,root_url):
        #添加需解析的網頁url
        self.manager.add_new_url(root_url)
        #判斷url管理器是否有新url
        while(self.manager.has_new_url() and self.manager.old_url_size()<100):
            try:
                #從url管理器獲取url
                new_url = self.manager.get_new_url()
                #html下載器下載網頁
                html = self.downloader.download(new_url)
                #HTML解析器抽取網頁中url及數據
                new_urls, data = self.parser.parser(new_url,html)
                #將抽取的url添加到管理器中
                self.manager.add_new_urls(new_urls)
                #數據存儲器存儲文件
                self.output.store_data(data)
                print("已經抓取%s個鏈接" % self.manager.old_url_size())
            except Exception as e:
                print("failed")
                print(e)
        #輸出文件
        self.output.output_html()

if __name__ == '__main__':
    spider_man = SpiderMan()
    spider_man.crawl("https://www.runoob.com/w3cnote/page/1")

調度器將前面寫的四個模板進行調用。

運行結果如圖：

調用beautifulsoup庫時，運行後提示錯誤： ImportError: No module named bs4 ，意思是沒有找到bs4模塊，解決方法是將bs4安裝上。可參考鏈接：rom bs4 import BeautifulSoup 引入需要安裝的文件和步驟

利用python setup.py install語句安裝模塊時的“No module named setuptools“報錯問題，可參考鏈接：解決python安裝模塊時的“No module named setuptools“報錯問題

4.總結

無論是大型爬蟲項目還是小型的爬蟲項目都離不開這五個模板，以後寫爬蟲項目按照這種架構可使你的爬蟲看起來更加的規範、健全。

Python爬蟲入門之架構模板

1.寫在前面

2.基礎爬蟲的架構以及運行流程

3.實戰爬取菜鳥筆記信息

4.總結

通過HPA+CronHPA組合應對業務複雜彈性伸縮場景

RedHat 8 dnf源配置

RHEL8和CentOS8怎麼重啓網絡

Python爬蟲入門之架構模板

Makefile拾遺（1）對-C和M=參數的理解

第11章線程基礎知識（1）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結