當時學習Python的主要原因，就是爲了學習爬蟲，從網上爬取自己想要的內容。Python作爲一種腳本語言，學習起來方便簡單，而且語言格式簡練，很多C++,java要寫很長的程序，用Python也許幾行就搞定了。這篇就來說說用Python編寫爬蟲的過程。其實用其他語言也可以寫爬蟲，只不過用Python非常簡單。
1.最簡單的爬蟲
新建一個python腳本，命名爲csdn.py。先來編寫個最簡單的爬蟲，就是爬取一個網頁的內容。打開一個網站，用python獲得該網站返回的響應，即html源碼。（這個源碼用瀏覽器打開就是我們獲得的網頁內容）
import urllib2
result=urllib2.urlopen("http://www.baidu.com/")
html=result.read()
print html<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge"><meta content="always" name="referrer"><link rel="dns-prefetch" href="//s1.bdstatic.com"/><link rel="dns-prefetch" href="//t1.baidu.com"/><link rel="dns-prefetch" href="//t2.baidu.com"/><link rel="dns-prefetch" href="//t3.baidu.com"/><link rel="dns-prefetch" href="//t10.baidu.com"/><link rel="dns-prefetch" href="//t11.baidu.com"/><link rel="dns-prefetch" href="//t12.baidu.com"/><link rel="dns-prefetch" href="//b1.bdstatic.com"/><title>百度一下，你就知道</title>。。。其實就是HTML源碼，代碼太多直貼了前面一部分。這就是一次最簡單的爬蟲
我們就用上面最簡單的爬蟲來爬蟲CSDN博客的內容。將urlopen()裏面的網址換爲我的csdn其中一篇文章的地址“http://blog.csdn.net/u013080921/article/details/44134017”。運行，發現出錯，結果顯示如下：
Traceback (most recent call last):
File "<pyshell#20>", line 1, in <module>
execfile("csdn.py")
File "csdn.py", line 12, in <module>
result=urllib2.urlopen("http://blog.csdn.net/u013080921/article/details/44134017")
File "C:\Python27\lib\urllib2.py", line 127, in urlopen
return _opener.open(url, data, timeout)
File "C:\Python27\lib\urllib2.py", line 410, in open
response = meth(req, response)
File "C:\Python27\lib\urllib2.py", line 523, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Python27\lib\urllib2.py", line 448, in error
return self._call_chain(*args)
File "C:\Python27\lib\urllib2.py", line 382, in _call_chain
result = func(*args)
File "C:\Python27\lib\urllib2.py", line 531, in http_error_default
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
HTTPError: HTTP Error 403: Forbidden
上圖很多內容，再用程序爬取時是沒有的，網站因此認爲你不是認爲瀏覽，將你的訪問禁止。既然這樣，我們就來模擬人爲訪問網站的過程。而Python也提供了相應的類來處理。
3.模仿瀏覽器爬取csdn博客
將程序改爲如下：
import urllib2
opener=urllib2.build_opener()
user_agent="Mozilla/5.0 (Windows NT 6.1; rv:36.0) Gecko/20100101 Firefox/36.0"
headers={'User-Agent':user_agent}
req=urllib2.Request("http://blog.csdn.net/happylee6688/article/details/43953671",headers=headers)
result=opener.open(req)
html=result.read()
print html
說明我們獲取了csdn博客的html源碼。下面就是要提取我們需要的內容，這裏要用到一個很重要的概念---正則表達式。
3.根據HTML源碼提取內容
這裏你需要知道正則表達式的基本知識，同時需要會分析源碼。火狐瀏覽器的用戶可以使用Firebug來查看源碼，IE的按下F12查看源碼。對於文章標題的源碼如下
<span class="link_title"><a href="/u013080921/article/details/42582267">
Java多線程---Lock類
</a></span>title=re.search(' <span class="link_title"><a .*?>(.*?)</a>',html,re.S)print title.group(1)# -*- coding: utf-8 -*-
import urllib2
import urllib
import re
opener=urllib2.build_opener()
user_agent="Mozilla/5.0 (Windows NT 6.1; rv:36.0) Gecko/20100101 Firefox/36.0"
headers={'User-Agent':user_agent}
req=urllib2.Request("http://blog.csdn.net/happylee6688/article/details/43953671",headers=headers)
result=opener.open(req)
html=result.read().decode("utf-8")
html.encode("utf-8")
#搜索文章題目
title=re.search(' <span class="link_title"><a .*?>(.*?)</a>',html,re.S)
#打印文章題目
print title.group(1)
content=re.findall('<div style=".*?">(.*?)</div>',html,re.S)
reg=re.compile('<[^>]*>') #去除多餘的html標籤，只留下內容
for con in content:
s=reg.sub('',con)
print s, #打印內容
到這裏基本的爬蟲內容就寫完了。