@本文來源於公衆## 標題號：csdn2299，喜歡可以關注公衆號 程序員學府
最近在做一個項目，這個項目需要使用網絡爬蟲從特定網站上爬取數據，於是乎，我打算寫一個爬蟲系列的文章，與大家分享如何編寫一個爬蟲。下面這篇文章給大家介紹了python爬蟲基本知識，感興趣的朋友一起看看吧
爬蟲簡介
根據百度百科定義：網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
隨着大數據的不斷髮展，爬蟲這個技術慢慢走入人們的視野，可以說爬蟲是大數據應運而生的產物，至少我解除了大數據才瞭解到爬蟲這一技術
隨着數據的海量增長，我們需要在互聯網上選取所需要的數據進行自己研究的分析和實驗。這就用到了爬蟲這一技術，下面就跟着小編一起初遇python爬蟲！
一、請求-響應
在利用python語言實現爬蟲時，主要用到了urllib和urllib2兩個庫。首先用一段代碼說明如下：
import urllib
import urllib2
url="http://www.baidu.com"
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()
我們知道一個網頁就是以html爲骨架，js爲肌肉，css爲衣服所構成的。上述代碼所實現的功能就是把百度網頁的源碼爬取到本地。
其中，url爲要爬取的網頁的網址；request發出請求，response是接受請求後給出的響應。最後用read（）函數輸出的就是百度網頁的源碼。
二、GET-POST
兩者都是向網頁傳遞數據，最重要的區別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。
POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了，大家可以酌情選擇。
POST方式：
import urllib
import urllib2
values={'username':'[email protected]','Password':'XXXX'}
data=urllib.urlencode(values)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()
GET方式：
import urllib
import urllib2
values={'username':'[email protected]','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()
三、異常處理
處理異常時，用到了try-except語句。
import urllib2
try:
response=urllib2.urlopen("http://www.xxx.com")
except urllib2.URLError,e:
print e.reason
總結
以上所述是小編給大家介紹的python爬蟲基本知識，希望對大家有所幫助
非常感謝你的閱讀
大學的時候選擇了自學python，工作了發現吃了計算機基礎不好的虧，學歷不行這是
沒辦法的事，只能後天彌補，於是在編碼之外開啓了自己的逆襲之路，不斷的學習python核心知識，深
入的研習計算機基礎知識，整理好了，我放在我們的微信公衆號《程序員學府》，如果你也不甘平庸，
那就與我一起在編碼之外，不斷成長吧！
其實這裏不僅有技術，更有那些技術之外的東西，比如，如何
做一個精緻的程序員，而不是“屌絲”，程序員本身就是高貴的一種存在啊，難道不是嗎？點擊加入
想做你自己想成爲高尚人，加油！