1、先爬一個網頁下來看看吧
怎樣扒網頁呢？其實就是根據URL來獲取它的網頁信息，雖然我們在瀏覽器中看到的是優美有序的畫面，但是其實是由瀏覽器解釋才呈現出來的，實質它是一段HTML代碼，加JS、CSS，下面我們就來扒一個網頁下來看看。
# python 3
import urllib.request
response = urllib.request.urlopen("https://baidu.com")
print(response.read())真正的程序就兩行，把它保存成 demo.py，進入該文件的目錄，執行Python demo.py命令查看運行結果吧。
2.分析扒網頁的方法
第一行
response = urllib.request.urlopen("https://baidu.com")
首先我們調用的是urllib庫裏面的urlopen方法，傳入一個URL，這個網址是百度首頁，協議是HTTP協議.urlopen一般接受三個參數，它的參數如下：
urlopen(url, data, timeout)第一個參數url即爲URL，第二個參數data是訪問URL時要傳送的數據，第三個timeout是設置超時時間。
第二三個參數是可以不傳送的，data默認爲空None，timeout默認爲 socket._GLOBAL_DEFAULT_TIMEOUT.
第一個參數URL是必須要傳送的，在這個例子裏面我們傳送了百度的URL，執行urlopen方法之後，返回一個response對象，返回信息便保存在這裏面。
第二行
print(response.read())response對象有一個read方法，可以返回獲取到的網頁內容。
如果不加read直接打印會是什麼呢？答案如下：
<http.client.HTTPResponse object at 0x02E05270>直接打印出了該對象的描述，所以記得一定要加read方法，否則它不出來內容可就不怪我咯！
3.POST和GET數據傳送
上面的程序演示了最基本的網頁抓取，不過，現在大多數網站都是動態網頁，需要你動態地傳遞參數給它，它做出對應的響應。所以，在訪問時，我們需要傳遞數據給它。最常見的情況就是登錄註冊的時候呀。
把用戶名和密碼傳送到一個URL，然後你得到服務器處理之後的響應，這個該怎麼辦？
數據傳送分爲POST和GET兩種方式，兩種方式最重要的區別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了。
POST方式：
上面提到了data參數，它就是用在這裏的，我們傳送的數據就是這個參數data，下面演示一下POST方式。
import urllib.request,urllib.parse
values = {"username":"[email protected]","password":"XXXX"}
data = urllib.parse.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
response = urllib.request.urlopen(url,data)
print(response.read())我們引入了urllib庫，現在我們模擬登陸CSDN，當然上述代碼可能登陸不進去，因爲CSDN還有個流水號的字段，沒有設置全，比較複雜在這裏就不寫上去了，在此只是說明登錄的原理。一般的登錄網站一般是這種寫法。
我們需要定義一個字典，名字爲values，參數我設置了username和password，下面利用urllib的urlencode方法將字典編碼，命名爲data，構建request時傳入兩個參數，url和data，運行程序，返回的便是POST後呈現的頁面內容。
GET方式：
至於GET方式我們可以直接把參數寫到網址上面，直接構建一個帶參數的URL出來即可。
import urllib.request
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.parse.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
response = urllib.request.urlopen(url)
print(response.read())你可以打印輸出一下url，發現其實就是原來的url加？然後加編碼後的參數,
和我們平常GET訪問方式一模一樣，這樣就實現了數據的GET方式傳送。
———–到這裏我們就已經瞭解了爬蟲的一些基本使用，可以抓取到一些基本的網頁信息啦~~~