本文環境是python3,採用的是urllib,BeautifulSoup搭建。
說下思路，這個項目分爲管理器，url管理器，下載器，解析器，html文件生產器。各司其職，在管理器進行調度。最後將解析到的種子連接生產html文件顯示。當然也可以保存在文件。最後效果如圖。
首先在管理器SpiderMain()這個類的構造方法裏初始化下載器，解析器，html生產器。代碼如下。
def__init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
然後在主方法裏寫入主連接並開始下載解析和輸出。
if __name__ == '__main__':
url = "http://www.btany.com/search/桃谷繪里香-first-asc-1"
# 解決中文搜索問題 對於：？=不進行轉義
root_url = quote(url,safe='/:?=')
obj_spider = SpiderMain()
obj_spider.parser(root_url)
用下載器進行下載，解析器解析下載好的網頁，最後輸出。管理器的框架邏輯就搭建完畢
def parser(self, root_url):
html = self.downloader.download(root_url)
datas = self.parser.parserTwo(html)
self.outputer.output_html3(datas)
downloader下載器代碼如下：
def download(self, chaper_url):
if chaper_url is None:
return None
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
req = urllib.request.Request(url=chaper_url, headers=headers)
response = urllib.request.urlopen(req)
if response.getcode() != 200:
return None
return response.read()
headers是模仿瀏覽器的請求頭。不然下載不到html文件。
解析器代碼如下：
# 解析種子文件
def parserTwo(self,html):
if html is None:
return
soup = BeautifulSoup(html,'html.parser',from_encoding='utf-8')
res_datas = self._get_data(soup)
return res_datas
# 將種子文件的標題，磁力鏈接和迅雷鏈接進行封裝
def _get_data(self,soup):
res_datas = []
all_data = soup.findAll('a',href=re.compile(r"/detail"))
all_data2 = soup.findAll('a', href=re.compile(r"magnet"))
all_data3 = soup.findAll('a',href=re.compile(r"thunder"))
for i in range(len(all_data)):
res_data = {}
res_data['title'] = all_data[i].get_text()
res_data['cl'] = all_data2[i].get('href')
res_data['xl'] = all_data3[i].get('href')
res_datas.append(res_data)
return res_datas
通過分析爬下來的html文件,種子鏈接在a標籤下。然後提取magnet和thunder下的鏈接。
最後輸出器輸出html文件，代碼如下：
def __init__(self):
self.datas = []
def collect_data(self, data):
if data is None:
return
self.datas.append(data)
#輸出表單
def output_html3(self,datas):
fout = open('output.html', 'w', encoding="utf-8")
fout.write("<html>")
fout.write("<head><meta http-equiv=\"content-type\" content=\"text/html;charset=utf-8\"></head>")
fout.write("<body>")
fout.write("<table border = 1>")
for data in datas:
fout.write("<tr>")
fout.write("<td>%s</td>" % data['title'])
fout.write("<td>%s</td>" % data['cl'])
fout.write("<td>%s</td>" % data['xl'])
fout.write("</tr>")
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
fout.close()
非常感謝你的閱讀
大學的時候選擇了自學python，工作了發現吃了計算機基礎不好的虧，學歷不行這是沒辦法的事，只能後天彌補，於是在編碼之外開啓了自己的逆襲之路，不斷的學習python核心知識，深入的研習計算機基礎知識，整理好了，我放在我們的Python學習扣qun：774711191，如果你也不甘平庸，那就與我一起在編碼之外，不斷成長吧！
其實這裏不僅有技術，更有那些技術之外的東西，比如，如何做一個精緻的程序員，而不是“屌絲”，程序員本身就是高貴的一種存在啊，難道不是嗎？[點擊加入]想做你自己想成爲高尚人，加油！
@本文來源於公衆號：csdn2299，喜歡可以關注公衆號 程序員學府