最近在做一個項目，這個項目需要使用網絡爬蟲從特定網站上爬取數據，於是乎，我打算寫一個爬蟲系列的文章，與大家分享如何編寫一個爬蟲。下面這篇文章給大家介紹了python爬蟲基本知識，感興趣的朋友一起看看吧
爬蟲簡介
根據百度百科定義：網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
隨着大數據的不斷髮展，爬蟲這個技術慢慢走入人們的視野，可以說爬蟲是大數據應運而生的產物，至少我解除了大數據才瞭解到爬蟲這一技術
隨着數據的海量增長，我們需要在互聯網上選取所需要的數據進行自己研究的分析和實驗。這就用到了爬蟲這一技術，下面就跟着小編一起初遇python爬蟲！
一、請求-響應
在利用python語言實現爬蟲時，主要用到了urllib和urllib2兩個庫。首先用一段代碼說明如下：
import urllib
import urllib2
url="http://www.baidu.com"
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()
我們知道一個網頁就是以html爲骨架，js爲肌肉，css爲衣服所構成的。上述代碼所實現的功能就是把百度網頁的源碼爬取到本地。
其中，url爲要爬取的網頁的網址；request發出請求，response是接受請求後給出的響應。最後用read（）函數輸出的就是百度網頁的源碼。
二、GET-POST
兩者都是向網頁傳遞數據，最重要的區別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。
POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了，大家可以酌情選擇。
POST方式：
import urllib
import urllib2
values={'username':'[email protected]','Password':'XXXX'}
data=urllib.urlencode(values)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()
GET方式：
import urllib
import urllib2
values={'username':'[email protected]','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()
三、異常處理
處理異常時，用到了try-except語句。
import urllib2
try:
response=urllib2.urlopen("http://www.xxx.com")
except urllib2.URLError,e:
print e.reason
最後給大家推薦一個口碑不錯的python聚集地【點擊進入】，這裏有很多的老前輩學習技巧，學習心得，面試技巧，職場經歷等分享，更爲大家精心準備了零基礎入門資料，實戰項目資料，每天都有程序員定時講解Python技術，分享一些學習的方法和需要留意的小細節
總結
以上所述是小編給大家介紹的python爬蟲基本知識，希望對大家有所幫助，如果大家有任何疑問請給我留言