1.写在前面
因工作要求初次接触python爬虫，网上找了一些模板，感觉这个博客挺不错的，简单易上手，想分享下。
https://www.jianshu.com/p/92052813be82
2.基础爬虫的架构以及运行流程
从图中可看出整个基础爬虫架构分为5大类：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。下面为具体功能介绍：
1. 爬虫调度器：主要是配合调用其他四个模块，所谓调度就是取调用其他的模板。
2. URL管理器：就是负责管理URL链接的，URL链接分为已经爬取的和未爬取的，这就需要URL管理器来管理它们，同时它也为获取新URL链接提供接口。
3. HTML下载器：就是将要爬取的页面的HTML下载下来。
4. HTML解析器：就是将要爬取的数据从HTML源码中获取出来，同时也将新的URL链接发送给URL管理器以及将处理后的数据发送给数据存储器。
5.数据存储器：就是将HTML下载器发送过来的数据存储到本地。
3.实战爬取菜鸟笔记信息
下面演示一遍如何用爬虫架构来爬取菜鸟笔记信息
1.创建URL管理器
#URLManager
class URLManager(object):
def __init__(self):
#保存未爬取url
self.new_urls = set()
#保存已爬取url
self.old_urls = set()
def has_new_url(self):
#判断是否有url需要爬取
return self.new_url_size()!=0
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
def add_new_url(self,url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self,urls):
if urls is None or len(urls)==0:
return
for url in urls:
self.add_new_url(url)
def new_url_size(self):
#未爬取url的大小
return len(self.new_urls)
def old_url_size(self):
#已爬取url的大小
return len(self.old_urls)
这里主要是两个集合，一个是已爬取URL的集合，另一个是未爬取URL的集合。使用set类型是因为set自带去重的功能
2.HTML下载器
#HTMLDownload
import requests
class HTMLDownload(object):
def download(self,url):
if url is None:
return
s = requests.Session()
s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
res = s.get(url)
#判断是否正常获取
if res.status_code == 200:
res.encoding='utf-8'
res = res.text
return res
return None
这里只是简单的获取了url中的html源码
3.HTML解析器
#HTMLParser
import re
from bs4 import BeautifulSoup
class HTMLParser(object):
def parser(self,page_url,html_cont):
if page_url is None or html_cont is None:
return
#解析网页并抽取url和网页内容
soup = BeautifulSoup(html_cont,'html.parser')
new_urls = self._get_new_urls(page_url,soup)
new_data = self._get_new_data(page_url,soup)
return new_urls, new_data
def _get_new_urls(self,page_url,soup):
new_urls = set()
for link in range(1,10):
new_url = "https://www.runoob.com/w3cnote/page/"+str(link)
new_urls.add(new_url)
return new_urls
def _get_new_data(self,page_url,soup):
data = {}
data['url'] = page_url
title = soup.find('div',class_='post-intro').find('h2')
print(title)
data['title'] = title.get_text()
summary = soup.find('div',class_='post-intro').find('p')
data['summary'] = summary.get_text()
return data
这里将HTML下载器的源码进行分析和解析，从而得到了我们想要拿到的数据。可以去了解BeautifulSoup的使用
4.数据存储器
#DataOutput
import codecs
class DataOutput(object):
def __init__(self):
self.datas = []
def store_data(self,data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = codecs.open('baike.html','a',encoding='utf-8')
fout.write("<html>")
fout.write("<head><meta charset='utf-8' /></head>")
fout.write("<body>")
fout.write("<table>")
for data in self.datas:
fout.write("<tr>")
fout.write("<td>%s</td>" % data['url'])
fout.write("<td>《%s》</td>" % data['url'])
fout.write("<td>[%s]</td>" % data['summary'])
fout.write("</tr>")
self.datas.remove(data)
fout.write("</body>")
fout.write("</table>")
fout.write("</html>")
fout.close()
这里为了演示，将数据存储到一个html的文件中
5.爬虫调度器
#爬虫调度器
import sys
from DataOutput import DataOutput
from HTMLParser import HTMLParser
from HTMLDownload import HTMLDownload
from URLManager import URLManager
class SpiderMan(object):
def __init__(self):
self.manager = URLManager()
self.downloader = HTMLDownload()
self.parser = HTMLParser()
self.output = DataOutput()
def crawl(self,root_url):
#添加需解析的网页url
self.manager.add_new_url(root_url)
#判断url管理器是否有新url
while(self.manager.has_new_url() and self.manager.old_url_size()<100):
try:
#从url管理器获取url
new_url = self.manager.get_new_url()
#html下载器下载网页
html = self.downloader.download(new_url)
#HTML解析器抽取网页中url及数据
new_urls, data = self.parser.parser(new_url,html)
#将抽取的url添加到管理器中
self.manager.add_new_urls(new_urls)
#数据存储器存储文件
self.output.store_data(data)
print("已经抓取%s个链接" % self.manager.old_url_size())
except Exception as e:
print("failed")
print(e)
#输出文件
self.output.output_html()
if __name__ == '__main__':
spider_man = SpiderMan()
spider_man.crawl("https://www.runoob.com/w3cnote/page/1")
调度器将前面写的四个模板进行调用。
运行结果如图：
调用beautifulsoup库时，运行后提示错误： ImportError: No module named bs4 ， 意思是没有找到bs4模块，解决方法是将bs4安装上。可参考链接：rom bs4 import BeautifulSoup 引入需要安装的文件和步骤
利用python setup.py install语句安装模块时的“No module named setuptools“报错问题，可参考链接：解决python安装模块时的“No module named setuptools“报错问题
4.总结
无论是大型爬虫项目还是小型的爬虫项目都离不开这五个模板，以后写爬虫项目按照这种架构可使你的爬虫看起来更加的规范、健全。