這篇文章主要介紹了Python爬蟲使用瀏覽器cookies：browsercookie,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
很多用Python的人可能都寫過網絡爬蟲，自動化獲取網絡數據確實是一件令人愉悅的事情，而Python很好的幫助我們達到這種愉悅。然而，爬蟲經常要碰到各種登錄、驗證的阻撓，讓人灰心喪氣（網站：天天碰到各種各樣的爬蟲抓我們網站，也很讓人灰心喪氣～）。爬蟲和反爬蟲就是一個貓和老鼠的遊戲，道高一尺魔高一丈，兩者反覆糾纏。
由於http協議的無狀態性，登錄驗證都是通過傳遞cookies來實現的。通過瀏覽器登錄一次，登錄信息的cookie是就會被瀏覽器保存下來。下次再打開該網站時，瀏覽器自動帶上保存的cookies，只有cookies還未過期，對於網站來說你就還是登錄狀態的。
browsercookie模塊就是這樣一個從瀏覽器提取保存的cookies的工具。它是一個很有用的爬蟲工具，通過加載你瀏覽器的cookies到一個cookiejar對象裏面，讓你輕鬆下載需要登錄的網頁內容。
安裝
pip install browsercookie
在Windows系統中，內置的sqlite模塊在加載FireFox數據庫時會拋出錯誤。需要更新sqlite的版本：
pip install pysqlite
使用方法
下面是從網頁提取標題的例子：
>>> import re
>>> get_title = lambda html: re.findall('<title>(.*?)</title>', html, flags=re.DOTALL)[0].strip()
下面是未登錄狀況下下載得到的標題：
>>> import urllib2
>>> url = 'https://bitbucket.org/'
>>> public_html = urllib2.urlopen(url).read()
>>> get_title(public_html)
'Git and Mercurial code management for teams'
接下來使用browsercookie從登錄過Bitbucket的FireFox裏面獲取cookie再下載：
>>> import browsercookie
>>> cj = browsercookie.firefox()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> login_html = opener.open(url).read()
>>> get_title(login_html)
'richardpenman / home — Bitbucket'
上面是Python2的代碼，再試試 Python3:
>>> import urllib.request
>>> public_html = urllib.request.urlopen(url).read()
>>> opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
你可以看到你的用戶名出現在title裏面了，說明browsercookie模塊成功從FireFox加載了cookies。小編整理一套Python資料和PDF，有需要Python學習資料可以加學習羣：631441315 ，反正閒着也是閒着呢，不如學點東西啦~~
下面是使用requests的例子，這次我們從Chrome裏面加載cookies，當然你需要事先用Chrome登錄Bitbucket：
>>> import requests
>>> cj = browsercookie.chrome()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'
如果你不知道或不關心那個瀏覽器有你需要的cookies，你可以這樣操作：
>>> cj = browsercookie.load()
>>> r = requests.get(url, cookies=cj)
>>> get_title(r.content)
'richardpenman / home — Bitbucket'
支持
目前，該模塊支持以下平臺：
Chrome: Linux, OSX, Windows
Firefox: Linux, OSX, Windows
寫到這裏，給大家推薦一個資源很全的python學習聚集地，點擊進入，這裏有資深程序員分享以前學習心得，學習筆記，還有一線企業的工作經驗，且給大家精心整理一份python零基礎到項目實戰的資料，每天給大家講解python最新的技術，前景，學習需要留言的小細節