更詳細的,參考鏈接 beautifulsoup菜鳥教程 :
http://www.jsphp.net/python/show-24-214-1.html
想獲取<div class='xxx'> ...<div>這樣的div標籤,通常有三種辦法,
1)用字符串查找方法,然後切分字符串(或切片操作),如str.index(patternStr)或str.find(patternStr),這種方法快,但步驟多,因爲要去頭去尾。
2)用正則表達式,比如'<div class="result_info">([\s\S]+?)</div>',通過正則表達式的括號,可以獲取匹配的內容,即<div ..></div>之間的內容:
import re
def getTags(html):
reg = r'<div class="result_info">([\s\S]+?)</div>'
pattern= re.compile(reg)
tags= re.findall(pattern, html)
return tags
不過正則表達式仍有缺點,例如'<div class="result_info">([\s\S]+?)</div>'括號中的問號表示非貪婪匹配,正常情況下可以匹配到所需要的內容,但如果class="result_info"的div中還嵌套了子的div,那麼正則表達式的後半部分"</div>"將會匹配子div的結尾部分</div>,而不是希望的父div.
假如有這樣一個html:
<div class="result_info">
<p>some paragraph test 1
</p>
<p>some paragraph test 2
</p>
<div id="div_sub" class="sub_div_style">
some contents in sub div
</div>
backend content here
</div>
那麼backend contents here這段內容將會匹配不到,正則表達式將會將id爲div_sub的</div>作爲結尾。
3)使用第三方庫,比如BeautifulSoup,優點是準確,缺點是速度會比字符串切分、正則表達式慢,下面說說BeautifulSoup的用法。
按照BeautifulSoup官方文檔的說明怎麼都不能成功,後來在百度知道(http://zhidao.baidu.com/question/433247968620775644.html)找到答案,真是扯淡,附上有效代碼:
soup=BeautifulSoup(html)
print soup.find_all(name='div',attrs={"class":"footer"})#按照字典的形式給attrs參數賦值
完整的:
from bs4 import BeautifulSoup
import urllib2
def getTargetDiv(url,myAttrs):
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
return soup.find_all(name='div',attrs=myAttrs)
if __name__=="__main__":
url=r'http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/'
myAttrs={'class':'footer'}
print getTargetDiv(url, myAttrs)
按照官方文檔(http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)的做法:
#1.soup.find_all("a", class_="sister")
#2.css_soup.find_all("p", class_="body")
#3.soup.find_all(href=re.compile("elsie"))
改成
soup.find_all(name='div',class_=re.compile('info_item'))
或者
soup.find_all('div',class_='info_item')
都沒有匹配結果,經測試需要soup.find_all(name='div',attrs={"class":"footer"})這樣以字典的形式給attrs參數賦值纔可以。