python開發爬蟲----urllib2下載網頁方法

urllib2下載網頁方法1：

import urllib2

#直接請求
response = urllib2.urlopen('http://www.baidu.com')

#獲取狀態碼，如果返回200則獲取成功
print response.getcode()

#讀取內容
cont = response.read()

urllib2下載網頁方法2：添加data http header

import urllib2

#創建request對象
request = urllib2.Request(url)

#添加數據
request.add_data('a','1')

#添加http的header
request.add_header('User-Agent','Mozilla/5.0')

#發送請求取得結果
response = urllib2.urlopen(request)

urllib2下載網頁方法3：添加特殊情景的處理器

import urllib2,cookielib

#創建cookie容器
cj = cookielib.CookieJar()

#創建opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))

#給urllib2安裝opener
urllib2.install_opener(opener)

#使用帶cookie的urllib2訪問網頁
response = urllib2.urlopen('http://www.baidu.com')