Python 爬蟲

初學 Python, 結合網絡資料整理

#!/usr/bin/python
#coding=UTF-8

'''
爬蟲 v 1.0 (L)
'''

import time
import sys
import re
#====================================
# 根據 Python 的版本選擇需要加載的模塊
#====================================
if (sys.version)[0] == '3':
    import urllib.request as urlreq
    import _thread as thread
else:
    import urllib2 as urlreq
    import thread as thread

class Spider:
    def __init__(self):
        self.pageidx = 1   # 標記頁碼
        self.items = []    # 存放正文內容
        self.read = False  # 存放是否繼續 True:繼續; False:停止
        self.restr = ''
        self.user_agent = ['Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', '', ''] # UA 列表
        self.header = { 'User-Agent' : (self.user_agent)[0] }# 存放瀏覽器UA(防止網站限定header)

    #=========================================================
    # 功能: 獲取網頁內容(按規則)
    # 參數: self; url:頁面地址;  recom:正則
    #=========================================================
    def GetItems(self, url, recom):
        request = urlreq.Request(url, headers = self.header)
        html = urlreq.urlopen(request).read()

        # 頁面編碼轉換 (encode: unicode->其它; decode: 其它->unicode)
        uhtml = html.decode("UTF-8")

        # 根據規則從頁面選定內容;
        return re.findall(recom, uhtml)

    #=========================================================
    # 功能: 加載網頁內容
    # 參數: self;
    #=========================================================
    def LoadItems(self, url, recom):

        while self.read:
            # 判斷當items中的內容不足兩條時,請求下一頁數據並存入items列表中
            if len(self.items) < 2:
                try:
                    uri = url.replace("$PX$", str(self.pageidx))
                    item = self.GetItems(uri, recom)
                    self.items.append(item)
                    self.pageidx += 1
                except:
                    print('[ ' + uri + ' ] 被外星人劫持[訪問失敗]....')
                    self.read = False
            else:
                time.sleep(1)

    #=========================================================
    # 功能: 現實網頁內容(並接收用戶輸入)
    # 參數: self;
    #=========================================================
    def ShowItems(self, items, pidx = 1):
        for item in items:
            print(u'[%d]' % pidx, item[1], '\n', item[0].replace('\n', '').replace('<br/>', '\n'))
            print('-' * 70)
            option = input().upper()
            if option == 'Q':
                self.read = False
                return 9
            elif option == 'R':
                self.pageidx = 1 # 初始值
                return 0
        return 1

    #=========================================================
    # 功能: 現實網頁內容(並接收用戶輸入)
    # 參數: self;
    #=========================================================
    def Launcher(self, url, recom):
        self.read = True
        pidx = self.pageidx

        print(u'正在加載中請稍候......\n', '=' * 70)

        thread.start_new_thread(self.LoadItems, (url, recom))

        while self.read:
            if self.items:
                item = self.items[0]
                del self.items[0]
                ret = self.ShowItems(item, pidx)
                if ret == 9:
                    print(u'即將推出閱讀....')
                    break
                else:
                    pidx += ret



def usage():
	print(u"""
	---------------------------------------------
	-   程序：糗百爬蟲(閱讀文章)
	-   版本：0.1
	-   作者：L
	-   日期：2015-06-30
	-   語言：Python 3.3.5
	-   操作：Q:退出閱讀; R:刷新到第一頁; 回車:閱讀
	-   功能：按下回車依次瀏覽今日的糗百熱點
	---------------------------------------------
	""")
if __name__ == "__main__":
        usage()
        
        url = 'http://m.qiushibaike.com/hot/page/$PX$'
        # re.S是任意匹配模式(如:匹配換行符)
        recom = re.compile(r'<div class="content">(.*?)<!--(.*?)-->.*?</div>', re.S)
        
        input('瀏覽今日的糗百內容(任意鍵):')
        spider = Spider()
        spider.Launcher(url, recom)
        print('歡迎再次使用....')