基於python的爬蟲



本次初學，參考的資料見：http://edu.51cto.com/index.php?do=lession&id=12393

 

功能主要是抓取韓寒的博客內容，以及保存網址到hanhan的文件夾中,運行環境實在linux下的。

網站見：http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html

具體代碼如何：

<span style="font-size:18px;">#!/usr/bin/env python
#coding utf-8
import urllib
import time
url=['']*60
con=urllib.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html').read()
title = con.find(r'<a title=')
href = con.find(r'href=',title)
html = con.find(r'.html',href)

i=0
while title !=-1 and href!=-1 and html !=-1 and i<60:
    url[i]=con[href+6:html+5]
    print(url[i])
    title = con.find(r'<a title=',html)
    href = con.find(r'href=',title)
    html = con.find(r'.html',href)
    i=i+1
else:
    print('find end!')


j=0
while j<50:
    content = urllib.urlopen(url[j]).read()
    open(r'hanhan/'+url[j][-26:], 'w+').write(content)
    print('downloading',url[j])
    j=j+1;
    time.sleep(15)
else:
        print('write article end!')
</span>

運行結果如下：