Java 爬蟲服務器被屏蔽，不要慌，咱們換一臺服務器

這是 Java 爬蟲系列博文的第四篇，在上一篇 Java 爬蟲遇上數據異步加載，試試這兩種辦法！) 中，我們從內置瀏覽器內核和反向解析法兩個角度簡單的聊了聊關於處理數據異步加載問題。在這篇文章中，我們簡單的來聊一聊爬蟲時，資源網站根據用戶訪問行爲屏蔽掉爬蟲程序及其對應的解決辦法。

屏蔽爬蟲程序是資源網站的一種保護措施，最常用的反爬蟲策略應該是基於用戶的訪問行爲。比如限制每臺服務器在一定的時間內只能訪問 X 次，超過該次數就認爲這是爬蟲程序進行的訪問，基於用戶訪問行爲判斷是否是爬蟲程序也不止是根據訪問次數，還會根據每次請求的User Agent 請求頭、每次訪問的間隔時間等。總的來說是由多個因數決定的，其中以訪問次數爲主。

反爬蟲是每個資源網站自保的措施，旨在保護資源不被爬蟲程序佔用。例如我們前面使用到的豆瓣網，它會根據用戶訪問行爲來屏蔽掉爬蟲程序，每個 IP 在每分鐘訪問次數達到一定次數後，後面一段時間內的請求返回直接返回 403 錯誤，以爲着你沒有權限訪問該頁面。所以我們今天再次拿豆瓣網爲例，我們用程序模擬出這個現象，下面是我編寫的一個採集豆瓣電影的程序

/**
 * 採集豆瓣電影
 */
public class CrawlerMovie {

    public static void main(String[] args) {
        try {
            CrawlerMovie crawlerMovie = new CrawlerMovie();
            // 豆瓣電影鏈接
            List<String> movies = crawlerMovie.movieList();
            //創建10個線程的線程池
            ExecutorService exec = Executors.newFixedThreadPool(10);
            for (String url : movies) {
                //執行線程
                exec.execute(new CrawlMovieThread(url));
            }
            //線程關閉
            exec.shutdown();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 豆瓣電影列表鏈接
     * 採用反向解析法
     *
     * @return
     */
    public List<String> movieList() throws Exception {
        // 獲取100條電影鏈接
        String url = "https://movie.douban.com/j/search_subjects?type=movie&tag=熱門&sort=recommend&page_limit=200&page_start=0";
        CloseableHttpClient client = HttpClients.createDefault();
        List<String> movies = new ArrayList<>(100);
        try {
            HttpGet httpGet = new HttpGet(url);
            CloseableHttpResponse response = client.execute(httpGet);
            System.out.println("獲取豆瓣電影列表，返回驗證碼：" + response.getStatusLine().getStatusCode());
            if (response.getStatusLine().getStatusCode() == 200) {
                HttpEntity entity = response.getEntity();
                String body = EntityUtils.toString(entity, "utf-8");
                // 將請求結果格式化成json
                JSONObject jsonObject = JSON.parseObject(body);
                JSONArray data = jsonObject.getJSONArray("subjects");
                for (int i = 0; i < data.size(); i++) {
                    JSONObject movie = data.getJSONObject(i);
                    movies.add(movie.getString("url"));
                }
            }
            response.close();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            client.close();
        }
        return movies;
    }
}
/**
 * 採集豆瓣電影線程
 */
class CrawlMovieThread extends Thread {
    // 待採集鏈接
    String url;

    public CrawlMovieThread(String url) {
        this.url = url;
    }
    public void run() {
        try {
            Connection connection = Jsoup.connect(url)
                    .method(Connection.Method.GET)
                    .timeout(50000);
            Connection.Response Response = connection.execute();
            System.out.println("採集豆瓣電影,返回狀態碼：" + Response.statusCode());
        } catch (Exception e) {
            System.out.println("採集豆瓣電影,採集出異常：" + e.getMessage());
        }
    }
}

這段程序的邏輯比較簡單，先採集到豆瓣熱門電影，這裏使用直接訪問 Ajax 獲取豆瓣熱門電影的鏈接，然後解析出電影的詳情頁鏈接，多線程訪問詳情頁鏈接，因爲只有在多線程的情況下才能達到豆瓣的訪問要求。豆瓣熱門電影頁面如下：

多次運行上面的程序，你最後會得到下圖的結果

從上圖中我們可以看出，httpclient 訪問返回的狀態碼爲 403 ，說明我們已經沒有權限訪問該頁面了，也就是說豆瓣網已經認爲我們是爬蟲程序啦，拒接掉了我們的訪問請求。我們來分析一下我們現在的訪問架構，因爲我們是直接訪問豆瓣網的，所以此時的訪問架構如下圖所示：

我們想要突破這層限制的話，我們就不能直接訪問豆瓣網的服務器，我們需要拉入第三方，讓別人代替我們去訪問，我們每次訪問都找不同的人，這樣就不會被限制了，這個也就是所謂的 IP代理。此時的訪問架構就變成了下面這張圖：

我們使用的 IP代理，我們就需要有 IP代理池，接下來我們就來聊一聊 IP 代理池

IP 代理池

代理服務器有很多廠商在做這一塊，具體的我就不說了，自己百度 IP 代理可以搜出一大堆，這些 IP代理商都有提供收費和免費的代理 IP，收費的代理 IP可用性高，速度快，在線上環境如果需要使用代理的話，建議使用收費的代理 IP。如果只是自己研究的話，我們就可以去採集這些廠商的免費公開代理 IP，這些 IP 的性能和可用性都比較差，但是不影響我們使用。

因爲我們是 Demo 項目，所以我們就自己搭建 IP代理池。我們該怎麼設計一個 IP代理池呢？下圖是我畫的簡單 IP代理池架構圖

從上面的架構圖中，可以看出一個 IP 代理系統會涉及到 4 個模塊，分別爲 IP 採集模塊、 IP 存儲模塊、IP 檢測模塊和 API 接口模塊。

IP 採集模塊

負責從各大 IP代理廠商採集代理 IP，採集的網站越多，代理 IP 的可用性就越高

IP 存儲模塊

存儲採集回來的代理 IP，比較常用的是 Redis 這樣的高性能的數據庫，在存儲方面我們需要存儲兩種數據，一種是檢測可用的代理 IP，另一種是採集回來還未檢測的代理 IP。

IP 檢測模塊

檢測採集回來的 IP 是否可用，這樣能夠讓我們提供的 IP 可用性變高，我們先過濾掉不可用的 IP。

API 接口模塊

以接口的形式對外提供可用代理 IP

上面就是關於 IP代理池的相關設計，對於這些我們只需要簡單瞭解一下就行了，因爲現在基本上不需要我們去編寫 IP代理池服務啦，在 GitHub 上已經有大量優秀的開源項目，沒必要重複造輪子啦。我爲大家選取了在 GitHub 上有 8K star 的開源 IP代理池項目 proxy_pool ，我們將使用它作爲我們 IP 代理池。關於 proxy_pool 請訪問：https://github.com/jhao104/proxy_pool

部署 proxy_pool

proxy_pool 是用 python 語言寫的，不過這也沒什麼關係，因爲現在都可以容器化部署，使用容器化部署可以屏蔽掉一些環境的安裝，只需要運行鏡像就可以運行服務了，並不需要知道它裏面的具體實現，所以這個項目不懂 Python 的 Java 程序員也是可以使用的。proxy_pool 使用的是 Redis 來存儲採集的 IP，所以在啓動 proxy_pool 前，你需要先啓動 Redis 服務。下面是 proxy_pool docker啓動步驟。

拉取鏡像

docker pull jhao104/proxy_pool

運行鏡像

docker run --env db_type=REDIS --env db_host=127.0.0.1 --env db_port=6379 --env db_password=pwd_str -p 5010:5010 jhao104/proxy_pool

運行鏡像後，我們等待一段時間，因爲第一次啓動採集數據和處理數據需要一段時間。等待之後訪問 http://{your_host}:5010/get_all/，如果你得到下圖所示的結果，說明 proxy_pool 項目你已經部署成功。

使用 IP 代理

搭建好 IP代理池之後，我們就可以使用代理 IP 來採集豆瓣電影啦，我們已經知道了除了 IP 之外，User Agent 請求頭也會是豆瓣網判斷訪問是否是爬蟲程序的一個因素，所以我們也對 User Agent 請求頭進行僞造，我們每次訪問使用不同的 User Agent 請求頭。

我們爲豆瓣電影採集程序引入 IP代理和隨機 User Agent 請求頭，具體代碼如下：

public class CrawlerMovieProxy {

    /**
     * 常用 user agent 列表
     */
    static List<String> USER_AGENT = new ArrayList<String>(10) {
        {
            add("Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19");
            add("Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30");
            add("Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1");
            add("Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0");
            add("Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0");
            add("Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36");
            add("Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19");
            add("Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3");
            add("Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3");
        }
    };

    /**
     * 隨機獲取 user agent
     *
     * @return
     */
    public String randomUserAgent() {
        Random random = new Random();
        int num = random.nextInt(USER_AGENT.size());
        return USER_AGENT.get(num);
    }

    /**
     * 設置代理ip池
     *
     * @param queue 隊列
     * @throws IOException
     */
    public void proxyIpPool(LinkedBlockingQueue<String> queue) throws IOException {


        // 每次能隨機獲取一個代理ip
        String proxyUrl = "http://192.168.99.100:5010/get_all/";

        CloseableHttpClient httpclient = HttpClients.createDefault();

        HttpGet httpGet = new HttpGet(proxyUrl);
        CloseableHttpResponse response = httpclient.execute(httpGet);
        if (response.getStatusLine().getStatusCode() == 200) {
            HttpEntity entity = response.getEntity();
            String body = EntityUtils.toString(entity, "utf-8");

            JSONArray jsonArray = JSON.parseArray(body);
            int size = Math.min(100, jsonArray.size());
            for (int i = 0; i < size; i++) {
                // 將請求結果格式化成json
                JSONObject data = jsonArray.getJSONObject(i);
                String proxy = data.getString("proxy");
                queue.add(proxy);
            }
        }
        response.close();
        httpclient.close();
        return;
    }


    /**
     * 隨機獲取一個代理ip
     *
     * @return
     * @throws IOException
     */
    public String randomProxyIp() throws IOException {

        // 每次能隨機獲取一個代理ip
        String proxyUrl = "http://192.168.99.100:5010/get/";

        String proxy = "";

        CloseableHttpClient httpclient = HttpClients.createDefault();

        HttpGet httpGet = new HttpGet(proxyUrl);
        CloseableHttpResponse response = httpclient.execute(httpGet);
        if (response.getStatusLine().getStatusCode() == 200) {
            HttpEntity entity = response.getEntity();
            String body = EntityUtils.toString(entity, "utf-8");
            // 將請求結果格式化成json
            JSONObject data = JSON.parseObject(body);
            proxy = data.getString("proxy");
        }
        return proxy;
    }

    /**
     * 豆瓣電影鏈接列表
     *
     * @return
     */
    public List<String> movieList(LinkedBlockingQueue<String> queue) {
        // 獲取60條電影鏈接
        String url = "https://movie.douban.com/j/search_subjects?type=movie&tag=熱門&sort=recommend&page_limit=40&page_start=0";
        List<String> movies = new ArrayList<>(40);
        try {
            CloseableHttpClient client = HttpClients.createDefault();
            HttpGet httpGet = new HttpGet(url);
            // 設置 ip 代理
            HttpHost proxy = null;
            // 隨機獲取一個代理IP
            String proxy_ip = randomProxyIp();
            if (StringUtils.isNotBlank(proxy_ip)) {
                String[] proxyList = proxy_ip.split(":");
                System.out.println(proxyList[0]);
                proxy = new HttpHost(proxyList[0], Integer.parseInt(proxyList[1]));
            }
            // 隨機獲取一個請求頭
            httpGet.setHeader("User-Agent", randomUserAgent());
            RequestConfig requestConfig = RequestConfig.custom()
                    .setProxy(proxy)
                    .setConnectTimeout(10000)
                    .setSocketTimeout(10000)
                    .setConnectionRequestTimeout(3000)
                    .build();
            httpGet.setConfig(requestConfig);
            CloseableHttpResponse response = client.execute(httpGet);
            System.out.println("獲取豆瓣電影列表，返回驗證碼：" + response.getStatusLine().getStatusCode());
            if (response.getStatusLine().getStatusCode() == 200) {
                HttpEntity entity = response.getEntity();
                String body = EntityUtils.toString(entity, "utf-8");
                // 將請求結果格式化成json
                JSONObject jsonObject = JSON.parseObject(body);
                JSONArray data = jsonObject.getJSONArray("subjects");
                for (int i = 0; i < data.size(); i++) {
                    JSONObject movie = data.getJSONObject(i);
                    movies.add(movie.getString("url"));
                }
            }
            response.close();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {

        }
        return movies;
    }


    public static void main(String[] args) {
        // 存放代理ip的隊列
        LinkedBlockingQueue<String> queue = new LinkedBlockingQueue(100);

        try {
            CrawlerMovieProxy crawlerProxy = new CrawlerMovieProxy();
            // 初始化ip代理隊列
            crawlerProxy.proxyIpPool(queue);
            // 獲取豆瓣電影列表
            List<String> movies = crawlerProxy.movieList(queue);

            //創建固定大小的線程池
            ExecutorService exec = Executors.newFixedThreadPool(5);
            for (String url : movies) {
                //執行線程
                exec.execute(new CrawlMovieProxyThread(url, queue, crawlerProxy));
            }
            //線程關閉
            exec.shutdown();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

/**
 * 採集豆瓣電影線程
 */
class CrawlMovieProxyThread extends Thread {
    // 待採集鏈接
    String url;
    // 代理ip隊列
    LinkedBlockingQueue<String> queue;
    // 代理類
    CrawlerMovieProxy crawlerProxy;

    public CrawlMovieProxyThread(String url, LinkedBlockingQueue<String> queue, CrawlerMovieProxy crawlerProxy) {
        this.url = url;
        this.queue = queue;
        this.crawlerProxy = crawlerProxy;
    }

    public void run() {
        String proxy;
        String[] proxys = new String[2];
        try {
            Connection connection = Jsoup.connect(url)
                    .method(Connection.Method.GET)
                    .timeout(50000);

            // 如果代理ip隊列爲空，則重新獲取ip代理
            if (queue.size() == 0) crawlerProxy.proxyIpPool(queue);
            // 從隊列中獲取代理ip
            proxy = queue.poll();
            // 解析代理ip
            proxys = proxy.split(":");
            // 設置代理ip
            connection.proxy(proxys[0], Integer.parseInt(proxys[1]));
            // 設置 user agent
            connection.header("User-Agent", crawlerProxy.randomUserAgent());
            Connection.Response Response = connection.execute();
            System.out.println("採集豆瓣電影,返回狀態碼：" + Response.statusCode() + " ,請求ip：" + proxys[0]);
        } catch (Exception e) {
            System.out.println("採集豆瓣電影,採集出異常：" + e.getMessage() + " ,請求ip：" + proxys[0]);
        }
    }
}

運行修改後的採集程序，可能需要多次運行，因爲你的代理 IP 不一定每次都有效。代理 IP 有效的話，你將得到如下結果

結果中我們可以看出，40 次的電影詳情頁訪問，有大量的代理 IP 是無效的，只有一小部分的代理 IP 有效。結果直接證明了免費的代理 IP 可用性不高，所以如果線上需要使用代理 IP 的話，最好使用收費的代理 IP。儘管我們自己搭建的 IP代理池可用性不是太高，但是我們設置的 IP 代理訪問豆瓣電影已經成功了，使用 IP 代理成功繞過了豆瓣網的限制。

關於爬蟲服務器被屏蔽，原因有很多，我們這篇文章主要介紹的是通過設置 IP 代理和僞造 User Agent 請求頭來繞過豆瓣網的訪問限制。如何讓我們的程序不被資源網站視爲爬蟲程序呢？需要做好以下三點：

僞造 User Agent 請求頭
使用 IP 代理
不固定的採集間隔時間

希望這篇文章對你有所幫助，下一篇是關於多線程爬蟲的探索。如果你對爬蟲感興趣，不妨關注一波，相互學習，相互進步

文章不足之處，望大家多多指點，共同學習，共同進步

最後

打個小廣告，歡迎掃碼關注微信公衆號：「平頭哥的技術博文」，一起進步吧。

Java 爬蟲服務器被屏蔽，不要慌，咱們換一臺服務器

IP 代理池

部署 proxy_pool

使用 IP 代理

最後

如何使用 JS 判斷用戶是否處於活躍狀態

Mono 支持LoongArch架構

lightdb秒級增加列和刪除列（not null帶默認值）

lightdb數據庫超時相關控制參數

通過HPA+CronHPA組合應對業務複雜彈性伸縮場景

❤️‍🔥 Solon Cloud Event 新的事務特性與應用

網絡爬蟲的祕密：如何高效地抓取JD.com視頻鏈接

lightdb mysql 8.0兼容之不可見主鍵

使用 JS 實現在瀏覽器控制檯打印圖片 console.image()

基於Ubuntu-22.04安裝K8s-v1.28.2實驗（四）使用域名訪問網站應用

select * from user 這條 SQL 語句，背後藏着哪些不可告人的祕密？

熟悉這幾道 Redis 高頻面試題，面試不用愁

一題算法|求隨機數索引

一題算法|求最長和諧子序列

職場中你忽略的細節，都是別人晉升的祕密

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結