最近看到微信群里大家有在聊关于文书网的数据获取,这个网站一直都是比较难访问的,数据的获取更是不容易。所以我们今天就根据这个网站来进行一次分析,分享交流下这种类型的网站该如何去获取数据。
这里重点讨论下文书网的反爬机制,由于文书网的反爬监控很严格(一级验证码,二级验证码,js反爬,IP检测)每样反爬阻碍都是不好应对的,但是也是有解决方法的,比如网站的ip检测,我们就可以采用亿牛云爬虫代理加强版方案,每一次request请求都是不同的IP,这样就不会触发反爬检测了。主要是ip质量好,ip池足够大,基本上每个IP都可以用,而且使用方式还很方便,直接用它的代理服务器发出请求,不用像传统api模式那样还需要取出IP,再代入IP进行请求。
速度配置:我们在程序里面配置的是5个线程,;因为我用的代理配置是基础的每秒5个请求数,所以在此设置线程数为5,如果想爬取更快,获取更多的数据。可以加大代理请求数,最高可以加到300的请求数,我滴天呀,那得多快啊,那些需要爬几千万数据的不是只要几天就搞定了吗。
<?php // 要访问的目标页面 $url = "http://httpbin.org/ip"; $urls = "https://httpbin.org/ip"; // 代理服务器(产品官网 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "username"); define("PROXY_PASS", "password"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 设置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode("\r\n", [ "Proxy-Authorization: Basic {$proxyAuth}", "Proxy-Tunnel: ${tunnel}", ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ "http" => [ "proxy" => PROXY_SERVER, "header" => $headers, "method" => "GET", 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 访问 HTTPS 页面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result); ?> curl GuzzleHttp
总结,如果以上的分享对家有帮助大家就分享学习下,大家有更好的方案也可以留言交流呀!