Python爬蟲教程-新浪微博分佈式爬蟲分享

爬蟲功能：

此項目實現將單機的新浪微博爬蟲重構成分佈式爬蟲。

Master機只管任務調度，不管爬數據；Slaver機只管將Request拋給Master機，需要Request的時候再從Master機拿。

環境、架構：

開發語言：Python2.7

開發環境：64位Windows8系統，4G內存，i7-3612QM處理器。

數據庫：MongoDB 3.2.0、Redis 3.0.501

（Python編輯器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）

爬蟲框架使用 Scrapy，使用 scrapy_redis 和 Redis 實現分佈式。

分佈式中有一臺機充當Master，安裝Redis進行任務調度，其餘機子充當Slaver只管從Master那裏拿任務去爬。原理是：Slaver運行的時候，scrapy遇到Request並不是交給spider去爬，而是統一交給Master機上的Redis數據庫，spider要爬的Request也都是從Redis中取來的，而Redis接收到Request後先去重再存入數據庫，哪個Slaver要Request了再給它，由此實現任務協同。

使用說明：

Python需要安裝好Scrapy、pymongo、json、base64、requests。

Master機只需要安裝好Redis即可（內存要求大點），Slaver機需要安裝python環境和MongoDB來存儲數據。如果想要將數據都存儲到一臺機子上，直接改一下爬蟲程序（pipeline）裏面MongoDB的IP即可，或者建議搭建一個MongoDB集羣。Redis和MongoDB都是安裝好即可，不需要配置。

將你用來登錄的微博賬號和密碼加入到 cookies.py 文件中，裏面已經有兩個賬號作爲格式參考了。

可以修改scrapy裏面setting的設置，例如間隔時間、日誌級別、redis的IP等等。

以上配置完以後運行 Begin.py 即可。重申Master機不需要跑程序，它的功能是利用Redis進行任務調度。Slaver機跑爬蟲，新增一臺Slaver機，只需要把python環境和MongoDB搭建好，然後將代碼複製過去直接運行就行了。

項目源碼

# encoding=utf-8
import json
import base64
import requests

"""
輸入你的微博賬號和密碼，可去淘寶買，一元七個。
建議買幾十個，微博反扒的厲害，太頻繁了會出現302轉移。
或者你也可以把時間間隔調大點。
"""
myWeiBo = [
    {'no': '[email protected]', 'psw': 'a123456'},
    {'no': '[email protected]', 'psw': 'a123456'},
]


def getCookies(weibo):
    """ 獲取Cookies """
    cookies = []
    loginURL = r'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)'
    for elem in weibo:
        account = elem['no']
        password = elem['psw']
        username = base64.b64encode(account.encode('utf-8')).decode('utf-8')
        postData = {
            "entry": "sso",
            "gateway": "1",
            "from": "null",
            "savestate": "30",
            "useticket": "0",
            "pagerefer": "",
            "vsnf": "1",
            "su": username,
            "service": "sso",
            "sp": password,
            "sr": "1440*900",
            "encoding": "UTF-8",
            "cdult": "3",
            "domain": "sina.com.cn",
            "prelt": "0",
            "returntype": "TEXT",
        }
        session = requests.Session()
        r = session.post(loginURL, data=postData)
        jsonStr = r.content.decode('gbk')
        info = json.loads(jsonStr)
        if info["retcode"] == "0":
            print "Get Cookie Success!( Account:%s )" % account
            cookie = session.cookies.get_dict()
            cookies.append(cookie)
        else:
            print "Failed!( Reason:%s )" % info['reason']
    return cookies


cookies = getCookies(myWeiBo)
print "Get Cookies Finish!( Num:%d)" % len(cookies)