用.net實現遠程獲取其他網站頁面內容!(核心代碼分析)

遠程獲取網頁內容.經過一定的處理和靈活應用,可以開發成成體系網站內容採集系統.通常也叫做"新聞小偷"
一般來說.做內容採集分爲如下幾個大致的步驟:

1.遠程獲取頁面的全部Html源文本.

2.通過過濾處理,分析有效內容文本.(通常用正則表達式來截取有效數據)

3.將格式有效的數據,根據自己的數據庫結構分標題,內容....一些其他屬性保存到自己的本地數據庫.

ok整個採集過程如此簡單.原理也不難.下面我們看看實現的具體基礎代碼!

首先我們來寫一個獲取遠程Html源的方法.

public string GetHttpData(string Url)
        {
            string sException=null;
            string sRslt=null;
            WebResponse oWebRps=null;
            WebRequest oWebRqst=WebRequest.Create(Url);
            oWebRqst.Timeout=50000;


            try
            {
                oWebRps=oWebRqst.GetResponse();
            }
            catch(WebException e)
            {
                    sException=e.Message.ToString();
                    EYResponse.Write(sException);
            }
            catch(Exception e)
            {
                    sException=e.ToString();
                    EYResponse.Write(sException);
            }

            finally
            {
                if(oWebRps!=null)
                {
                    StreamReader oStreamRd=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
                    sRslt=oStreamRd.ReadToEnd();
                    oStreamRd.Close();
                    oWebRps.Close();
                }
            }
            return sRslt;

        }

以上代碼爲獲取遠程Html源的一個方法.參數僅一個.就是你要獲取的目標頁面的完整Url路徑.
返回一個string類型的Html源數據.

下面我們再來繼續第二個步驟.分析自己需要的有效數據!
這裏我假設某個頁面來做分析...

public string [] GetData(string Html) { String [ ] rS=new String[2]; string s = Html; s=Regex.Replace(s,"//s{3,}",""); s=s.Replace("/r",""); s=s.Replace("/n",""); string Pat="<td align=/"center/" class=/"24p/"><B>(.*)</B></td></tr><tr>.*(<table width=/"95%/" border=/"0/" cellspacing=/"0/" cellpadding=/"10/">.*</table>)<table width=/"98%/" border=/"0/" cellspacing=/"0/" cellpadding=/"0/">(.*)<td align=center class=l6h>"; Regex Re = new Regex(Pat); Match Ma= Re.Match(s); if(Ma.Success) { rS[0]=Ma.Groups[1].ToString(); rS[1]=Ma.Groups[2].ToString(); pgStr=Ma.Groups[3].ToString(); } return rS; }

這個方法也很簡單.主要功能及時截取獲取過來的Html源.取得自己需要的數據...
參數是一個string類型的.將我們獲取的html源通過參數傳遞過來.
在方法類通過一個正則的模式匹配找到標題和內容的位置並取出來.存入一個string的數組給方法返回...
以後的事我就不多說了..
你只要把你取出來的數據存到你數據庫對應的字段就ok了!