JAVA中的線程池-ThreadPoolExecutor

java中的線程池是運用場景最多的併發組件,幾乎所有的異步或者併發任務的程序都可以使用線程池。在開發過程中使用線程池將會帶來3個好處:

  • 降低資源的消耗。通過反覆利用已創建的線程降低線程創建和銷燬造成的消耗;
  • 提高響應速度。當任務到達時,任務可以不需要等到線程創建就立即執行;
  • 提高線程的可管理性。

線程池的主要處理流程

當提交一個新任務到線程池時,線程池的主要處理流程如下:

  1. 線程池判斷核心線程池裏的線程是否都在執行任務。如果不是,則創建一個新的工作線程來執行任務。如果核心線程池裏的線程都在執行任務,則進入下一個流程。
  2. 線程池判斷工作隊列是否已經滿了,如果沒有則將提交的任務存儲在工作隊列裏,如果已經滿了則進入下一個工作流程。
  3. 線程池判斷線程池的線程是否都處於工作狀態,如果不是則創建一個新的工作線程來執行任務,如果已經滿了則交給飽和策略來處理這個任務。
使用者提交任務
    |
    |
    |
    |/            Y                    Y                   Y
核心線程池是否滿了--------->隊列是否滿了--------->線程池是否滿了------->按照策略執行無法執行的任務 
    |                        |                    |
    |N                       |N                   |N
    |                        |                    |
    |/                       |/                   |/
創建線程執行任務          將任務存儲在隊列裏       創建線程執行任務     


ThreadPoolExecutor執行execute方法分爲以下4中情況:

  • 如果當前運行的線程小於corePoolSize,則創建線程來執行任務(注意:執行這一步需要獲取去全局鎖)。
  • 如果運行的線程等於或者多於corePoolSize,則將任務加入到BlockingQueue。
  • 如果無法將任務加入到BlockingQueue(隊列已滿),則創建新的線程來處理任務(注意執行這一步驟需要獲取全局鎖)。
  • 如果創建新線程將使當前運行的線程超出maximumPoolSize,則任務將被拒絕,並調用RejectedExecutionHandler.rejectedExecution()方法。

ThreadPoolExecutor採取上述步驟的總體設計思路,是爲了在執行execute()方法時,儘可能地避免獲取全局鎖(那將會是一個嚴重的可伸縮瓶頸)。在ThreadPoolExecutor完成預熱之後(當前運行的線程數大於等於corePoolSize),幾乎所有的execute方法調用都是執行步驟二,而步驟二不需要獲取全局鎖。

源碼如下(java7):

public void execute(Runnable command) {
    if (command == null)
        throw new NullPointerException();
    int c = ctl.get();
    if (workerCountOf(c) < corePoolSize) {
        if (addWorker(command, true))
            return;
        c = ctl.get();
    }
    if (isRunning(c) && workQueue.offer(command)) {
        int recheck = ctl.get();
        if (! isRunning(recheck) && remove(command))
            reject(command);
        else if (workerCountOf(recheck) == 0)
            addWorker(null, false);
    }
    else if (!addWorker(command, false))
        reject(command);
}

工作線程:線程池創建線程時,會將線程封裝成工作線程Worker,Worker在執行任務後,還會循環獲取工作隊列裏的任務來執行。

線程池中的線程執行任務分爲兩種情況:

  • 在execute()方法中創建一個線程時,會讓這個線程執行當前的任務。
  • 這個線程執行完當前任務後,會反覆從BlockingQueue獲取任務來執行。


線程池的使用

我們可以通過ThreadPoolExecutor來創建一個線程池,常用的構造方法如下 :

new ThreadPoolExecutor(corePoolSize, 
                       maximumPoolSize, 
                       keepAliveTime, 
                       milliseconds, 
                       runnableTaskQueue, 
                       handler);
  • corePoolSize:線程池的基本大小,當提交一個任務到線程池時,線程池會出創建一個線程來執行任務,即使其他空閒的基本線程能夠執行新任務也會創建線程,等到需要執行的任務數大於線程池的基本大小時就不在創建。如果調用了線程池的prestartAllCoreThreads()方法,線程池會提前創建並啓動所有的基本線程;

  • runnableTaskQueue:任務隊列,用於保存等待執行的阻塞隊列,可以選擇使用以下幾種阻塞隊列:

    • ArrayBlockingQueue:基於數組結構的有界阻塞隊列
    • LinkedBlockingQueue:基於鏈表結構的阻塞隊列
    • SynchronousQueue:一個不存儲元素的阻塞隊列,每個插入操作必須等到另一個點成調用移除操作,否則插入操作一直處於阻塞狀態,吞吐量通常高於LinkedBlockingQueue,靜態工廠方法Executors.newCachedThreadPool使用了這個隊列
    • PriorityBlockingQueue:一個具有優先級的無限阻塞隊列
  • maximumPoolSize:線程池的最大數量,線程池允許創建的最大線程數。如果隊列池滿了,並且已創建的線程數小於最大線程數,則線程池會創建新的線程來執行任務。指的注意的是,如果使用了無界的任務隊列這個參數就不會有什麼效果;

  • ThreadFactory:用於設置創建線程的工廠,可以通過線程工廠給每個牀架出來的線程設置更有意義的名稱。

  • RejectedExcutionHandler(飽和策略):當隊列和線程池都滿了,說明線程池處於飽和狀態,那麼必須採取一種策略來處理提交的新任務。者個策略默認情況下是AbortPolicy,表示無法處理任務時拋出異常。在JDK1.5中java線程池提供了以下4中策略:

    • AbortPolicy:直接拋出異常
    • CallerRunsPolicy:只用調用者所在線程來運行任務
    • DiscardOldestPolicy:丟棄隊列裏最近的一個任務,並執行當前的任務
    • DiscardPolicy:不處理,丟棄掉

    當前也可以根據應用場景來實現RejectedExcutionHandler接口定義自定義策略。如記錄日誌或者持久化存儲不能處理的任務;

  • keepAliveTime:線程活動保持時間,線程池的工作線程空閒之後,保持存活的時間。所以如果任務很多,並且每個任務執行的時間都很短,可以調大時間,體高線程的利用率。

  • TimeUnit:線程活動保持時間的單位,可選的單位有天(DAYS)、小時(HOURS)、分鐘(MINUTES)、毫秒(MILLISECONDS)、微秒(MICROSECONDS,千分之一毫秒)和納秒(NANOSECONDS,千分之一微秒)


向線程池提交任務

可以使用兩個方法向線程池提交任務,分別爲execute()和submit方法。

execute用於提交不需要返回值的任務(無法判斷任務是否被執行成功),示例:

threadPool.execute(new Runnable() {
    @Override
    public void run() {
        // TODO
    }
});

submit方法用於提交需要返回值的任務,線程池會返回一個future類型的對象,通過這個future對象可以判斷任務是否執行成功,並且可以通過future的get()方法來獲取返回值,get()方法阻塞當前線程直到任務完成,而使用get(long timeout, TimeUnit unit)則會阻塞當前線程一段時間後立即返回,這個時候可能任務沒有執行完。

Future<?> future = threadPool.submit(taskWithReturnValue);
try {
    Object s = future.get();
} catch (InterruptedException e1) {
    // 處理中斷異常
} catch (ExecutionException e1) {
    // 處理無法執行的任務異常
} finally {
    //關閉線程池
    threadPool.shutdown();
}


關閉線程池

可以使用線程池的shutdown或者shutdownNow方法來關閉線程池。他們的原理遍歷線程池中的工作線程,然後逐個調用線程的inerrupt方法來中斷線程,所以無法響應中斷的任務可能永遠無法終止。這兩個方法存在一定的區別,shutdownNow首先將線程池的狀態設置爲STOP,然後嘗試停止所有正在執行或暫停任務的線程,並返回等待執行的任務的列表,而shutdown只是將線程的狀態設置爲SHUTDOWN狀態,然後中斷所有沒有正在執行任務的線程。

只要調用了這兩個方法中的任意一個,isShutdown方法就會返回true,當所有的任務都已經關閉了之後,才表示線程池關閉成功,這時候調用isTerminated方法會返回true。至於應該調用哪種方法來關閉線程池,應該由提交到線程池中的任務特性來決定,通常調用shutdown方法來關閉線程池,如果任務不一定要執行完則可以調用shutdownNow方法。


合理配置線程池

要向合理分配線程池,就必須首先分析任務的特性,可以從以下幾個角度來分析:

  • 任務的性質:CPU密集型任務、IO密集型任務、混合型任務
  • 任務的優先級:高、中、低
  • 任務的執行時間:長、中、短
  • 任務的依賴性:是否依賴其他系統資源,如數據庫連接

性質不同的任務可以使不同規模的線程池分開處理。CPU密集型任務應該分配儘可能小的線程,如配置Ncpu+1個線程的線程池。由於IO密集型任務線程並不是一直在執行任務,則應分配儘可能多的線程,如2*Ncpu 。混合型的任務,如果可以拆分,將其拆分成一個CPU密集型的任務和一個IO密集型的任務,這要兩個任務執行的時間相差不是太大,那麼分解後執行的吞吐量將高於串行執行的吞吐量,如果這兩個任務執行的時間相差太大,則沒必要進行分解。可以通過Runtime.getRuntime().avaliableProcessors()方法獲得當前設備的CPU個數。

優先級不同的任務可以使用優先級隊列PriorityBlockingQueue來處理。他可以讓優先級高的任務先執行。注意如果一直有優先級高的任務提交到隊列裏,那麼優先級低的線程將可能永遠必能執行。

執行時間不同的線程可以提交到不同規模的線程池來處理,或者可以使用優先級隊列,讓執行時間短的任務先執行。

以來數據庫連接池的任務,因爲提交sql之後需要等待數據庫返回結果,等待的時間越長,則CPU的空閒時間就越長,那麼線程數應該設置的更大,這樣才能更好的利用CPU。

建議使用有節隊列:永傑隊列能能加系統的穩定性和預警能力,可以根據需要設置的大一點,比如幾千。有一次,我們系統裏後臺任務線程池隊列和線程池全滿了,不斷拋出拋棄任務的異常,通過排查發現是數據庫出了問題,導致執行sql變得非常緩慢,因爲後臺任務線程池裏的任務全是需要向數據庫查詢和插入數據的,所以導致線程池裏的工作線程全部阻塞,任務積壓在線程池裏。如果當時我們設置成有界隊列,那麼線程池裏的隊列就會越來越多,有可能會撐滿內存,導致整個系統不可用,而不只是後臺任務出現問題。當然,我們系統的所有任務使用單獨的服務器部署的,我們使用不同規模的線程池來完成不同類型的任務,但是出現這樣的問題也會影響到其他任務。


線程池的監控

如果在系統中大量使用線程池,則有必要對線程池進行監控,方便在出現問題時,可以根據線程池的使用情況快速定位問題。可以通過線程池提供的參數來進行監控,在監控線程池的時候可以使用以下屬性:

  • takeCount:線程池需要執行的任務數量
  • completedTaskCount:線程池在運行過程中已完成的任務數量,小於等於takeCount
  • largestPoolSize:線程池裏曾經創建過的最大線程數量。通過這個數據可以知道線程池是否已經滿過。如果該值等於線程池的最大大小,則表示線程池曾經滿過。
  • getPoolSize:線程池的線程數量。如果線程池不銷燬的話,線程池裏的線程不會自動銷燬,所以這個大小隻增不減。
  • getActiveCount:獲取活動的線程數。

通過擴展線程池進行監控。可以通過繼承線程池來自定義線程池,重寫線程池的 beforeExecute、afterExecute和terminated方法,也可以在任務執行前、執行後和線程池關閉前執行一些代碼來進行監控。例如監控任務的平均執行時間和最小執行時間等。這幾個方法在線程池裏是空方法:

protected void beforeExecute(Thread t, Runnable r) { }

protected void afterExecute(Runnable r, Throwable t) { }

protected void terminated() { }
發佈了109 篇原創文章 · 獲贊 23 · 訪問量 14萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章