網絡爬蟲之php抓取json，xml，js，html示例分析及數據解析

現在往往內容服務類的公司都用到了抓取技術，比如房產企業對租房信息的抓取，招聘企業對招聘信息的抓取，彩票行業對開獎信息的抓取，以滿足項目需要提供內容服務。

這裏介紹下PHP對各種形式的數據抓取，包括對json數據，xml文件，js程序，html頁面的抓取。

先寫一個通用採集函數（比如採用file_get_contents來抓取）。當然php的抓取不只這一種，更多請求方式點擊查看http://blog.csdn.net/jiedao_liyk/article/details/59553565，這裏着重分析對抓取數據的解析，以下對彩票開獎號抓取分析：

通用抓取函數

private function get_contents($url){
    $opts = array(
            'http'=>array(
                    'method'=>"GET",
                    'timeout'=>1,
            )
    );
    $context = stream_context_create($opts);
    return @file_get_contents($url,false,$context);
}

所有采集的基礎是找到合適的抓取源，所以抓取第一步是尋找合適的抓取源，由於採集是依賴與別人的網站，所以要儘可能的多找寫抓取源，確保數據穩定。

1. 抓取json數據及解析方法（可實際測試代碼效果）

private function fetch_by_icaile(){
    $data = array();
    $url = "http://pub.icaile.com/jx11x5kjjg.php?action=chart&date=today&random=0693198428990367&id=505&async=true";
    $content = $this->get_contents($url);
    $obj = json_decode($content);
    $d1 = $obj->data[0];
    if($d1){
        $data['winnum'] = implode(' ',$d1->list);
        $data['issue'] = '20'.$d1->dateNumber;
        $data['time'] = time();
    }
    return $data;
}   

2. 抓取xml數據及解析方法（可實際測試代碼效果）

private function fetch_by_500wan(){
    $data = array();
    $url = 'http://kaijiang.500.com/static/info/kaijiang/xml/';    
    $url = $url."/".date("Ymd").".xml?_=".time();
    $xml = simplexml_load_file($url);
    if($p = $xml->row) {
        $issue = $p['expect'];
        $winnum  = str_replace(',',' ',$p['opencode']);
        if (empty($issue) || empty($winnum)) {
            return $data;
        }
        $issue = substr($issue,0, 8).substr($issue,-2);
        $data['issue'] = $issue;
        $data['winnum']   = $winnum;
        $data['time'] = time();
    }   
    return  $data; 
}

3. 抓取js數據及解析方法（可實際測試代碼效果）

private function fetch_tjssc_by_huacai(){
    $data = array();
    $url = "http://www.huacai.com/html_cn/js/lot_award_163_i_20.js";
    $content = $this->get_contents($url);
    $content  = str_replace("lot_award.set_data(",'', $content);
    $content  = str_replace(")",'', $content);

    preg_match("/{.*?content\":\"(.*?)\",\"end_time.*?issue_num\":\"(.*?)\",\"lottery_id.*?}/i", $content,$match);

    $issue 	= substr($match['2'],0,8).substr($match['2'],-2);
    $winnum = str_replace(",", " ", $match[1]);

    if(!$issue || !$winnum || strlen($issue) != 10 || strlen($winnum)!=9 ){
        return $data;
    }
    $data['issue'] = $issue;
    $data['winnum'] = $winnum;
    $data['time'] = time();
    return $data;  
}

4. 抓取html數據及解析方法（可實際測試代碼效果）

private function fetch_by_tjflcpw(){
    $data = array();
    $url = "http://www.tjflcpw.com/index.aspx?".time();
    $content = file_get_contents($url);
    $content  = str_replace("\r\n","",$content);
    preg_match("/SSC_WinMessage.aspx\">(.*?)<\/a>/i", $content,$match);
    $pos1 = strpos($content, "<!--時時彩-->");
    $content = substr($content, $pos1,2400);
    preg_match("/<li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li><li>(.*)<\/li>/i",$content,$codes);
    $qishu = substr(trim($match[1]),0,11);
    $kjhm = $codes[1]." ".$codes[2]." ".$codes[3]." ".$codes[4]." ".$codes[5];

    if (empty($qishu) || empty($kjhm)) {
        return $data;
    }
     $issue = substr($qishu,0, 8).substr($qishu,-2);
    $data['issue'] = $issue;
    $data['winnum']   = $kjhm;
    $data['time'] = time();    
    return $data;
}

抓取不到網頁數據，一些應該注意的地方

• 有些網頁需要設置特定的UserAgent，不同的UserAgent會得到不同的網頁請求了，例如手機瀏覽器和PC瀏覽器，就會得到不同的網頁文件

ini_set('user_agent','Mozilla/4.0 (compatible; MSIE 6.0)');

• 還有就是抓取到的內容是亂碼的問題，可以嘗試通過下面方法解決（換一種抓取方式並相應設置客戶端支持gzip壓縮）

private function fetch_by_lehecaissc(){
    $data = array();
    $url = 'http://baidu.lecai.com/lottery/ajax_latestdrawn.php?lottery_type=200'; 
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_ENCODING, "gzip" ); //設置爲客戶端支持gzip壓縮
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30 ); //設置連接等待時間
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_URL, $url );
    $output =curl_exec( $ch );
    curl_close($ch);
    $return=array();
    if($output){
        $result = json_decode($output,true);
        $winnumarr=$result['data'][0]['result']['result'][0]['data'];
        $issue=$result['data'][0]['phase'];
        $return['issue']=$issue;
        $return['winnum']=implode(' ',$winnumarr);
    }
    $return['time'] = time();
    return $return;        
}

大家看到好的抓取，特殊的抓取，或者抓取遇到的特殊問題及解決辦法，歡迎評論留言，看到會及時回覆，致謝！