最近關於諾貝爾獎的關注點蠻高的,畢竟是世界級的大獎,據諾貝爾獎官網消息,2021年諾貝爾文學獎於由坦桑尼亞作家阿卜杜勒-拉扎克·古爾納獲得,然後網上討論比較多的是日本作家春上村樹又陪跑了一次,很多人爲他感到惋惜,有些人又在一旁分析他爲什麼總是陪跑的原因。
讓小編比較感興趣的是,我很想看下這麼多年來都是有哪些人獲取的這個獎,但是網上看了很久都沒有一個比較全面些的,偶然間發現了一個網站對這個獎項的記錄還挺詳細的,簡單的看了下網頁介紹,感覺不是很難獲取數據,所以我簡單的寫了個爬蟲程序,今天就趁着這個熱點給大家分享下諾貝爾獎的詳細知識,感興趣的小夥伴可以關注下呀。
網站https://www.nobelprize.org/prizes/lists/all-nobel-prizes-in-literature/
爬蟲程序獲取數據的示例如下:
<?php // 要訪問的目標頁面 $url = "https://www.nobelprize.org/prizes/lists/all-nobel-prizes-in-literature/"; $urls = "https://www.nobelprize.org/prizes/lists/all-nobel-prizes-in-literature/"; // 代理服務器(產品官網 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "username"); define("PROXY_PASS", "password"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 設置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode("\r\n", [ "Proxy-Authorization: Basic {$proxyAuth}", "Proxy-Tunnel: ${tunnel}", ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ "http" => [ "proxy" => PROXY_SERVER, "header" => $headers, "method" => "GET", 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 訪問 HTTPS 頁面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result); ?>
這個網站雖然看似不難,但是需要的數據量還是有點多,網站還是會限制ip的訪問的,所以我示例也和大家分享了加上代理的使用方式,特別是對新手小夥伴來說是很有參考價值的哈。
因爲獲取到的數據量還是挺多的,小編需要進行數據分析,下次可以分享給大家一個完整的數據信息。