線程池

文章目錄

線程池

addWorker

線程池概述

什麼是線程池
爲什麼使用線程池
線程池的優勢
- 第一：降低資源消耗。通過重複利用已創建的線程降低線程創建和銷燬造成的消耗。
- 第二：提高響應速度。當任務到達時，任務可以不需要的等到線程創建就能立即執行。
- 第三：提高線程的可管理性。線程是稀缺資源，如果無限制的創建，不僅會消耗系統資源，還會降低系統的穩定性，使用線程池可以進行統一的分配，調優和監控。但是要做到合理的利用線程池，必須對其原理瞭如指掌。

創建一個線程池並提交線程任務

線程池源碼解析

參數認識

corePoolSize : 線程池的基本大小，當提交一個任務到線程池時，線程池會創建一個線程來執行任務，即使其他空閒的基本線程能夠執行新任務也會創建線程，等到需要執行的任務數大於線程池基本大小時就不再創建。如果調用了線程池的prestartAllCoreThreads方法，線程池會提前創建並啓動所有基本線程。
runnableTaskQueue：任務對列，用於保存等待執行的任務的阻塞隊列。可以選擇以下幾個阻塞隊列。

ArrayBlockingQueue：是一個基於數組結構的有界阻塞隊列，此隊列按 FIFO（先進先出）原則對元素進行排序。
LinkedBlockingQueue：一個基於鏈表結構的阻塞隊列，此隊列按FIFO （先進先出）排序元素，吞吐量通常要高於ArrayBlockingQueue。靜態工廠方法Executors.newFixedThreadPool()使用了這個隊列。
SynchronousQueue：一個不存儲元素的阻塞隊列。每個插入操作必須等到另一個線程調用移除操作，否則插入操作一直處於阻塞狀態，吞吐量通常要高於LinkedBlockingQueue，靜態工廠方法Executors.newCachedThreadPool使用了這個隊列。
PriorityBlockingQueue：一個具有優先級得無限阻塞隊列。

maximumPoolSize：線程池最大大小，線程池允許創建的最大線程數。如果隊列滿了，並且已創建的線程數小於最大線程數，則線程池會再創建新的線程執行任務。值得注意的是如果使用了無界的任務隊列這個參數就沒什麼效果。
ThreadFactory：用於設置創建線程的工廠，可以通過線程工廠給每個創建出來的線程設置更有意義的名字，Debug和定位問題時非常又幫助。
RejectedExecutionHandler（飽和策略）：當隊列和線程池都滿了，說明線程池處於飽和狀態，那麼必須採取一種策略處理提交的新任務。這個策略默認情況下是AbortPolicy，表示無法處理新任務時拋出異常。

CallerRunsPolicy：只用調用者所在線程來運行任務。
DiscardOldestPolicy：丟棄隊列裏最近的一個任務，並執行當前任務。
DiscardPolicy：不處理，丟棄掉。
當然也可以根據應用場景需要來實現RejectedExecutionHandler接口自定義策略。如記錄日誌或持久化不能處理的任務。

keepAliveTime ：線程活動保持時間，線程池的工作線程空閒後，保持存活的時間。所以如果任務很多，並且每個任務執行的時間比較短，可以調大這個時間，提高線程的利用率。
TimeUnit：線程活動保持時間的單位，可選的單位有天（DAYS），小時（HOURS），分鐘（MINUTES），毫秒(MILLISECONDS)，微秒(MICROSECONDS, 千分之一毫秒)和毫微秒(NANOSECONDS, 千分之一微秒)。
類中其他屬性


    // 線程池的控制狀態:用來表示線程池的運行狀態（整型的高3位）和運行的worker數量（低29位）
    private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
    // 29位的偏移量
    private static final int COUNT_BITS = Integer.SIZE - 3;
    // 最大容量（2^29 - 1）
    private static final int CAPACITY   = (1 << COUNT_BITS) - 1;

    // runState is stored in the high-order bits
    // 線程運行狀態，總共有5個狀態，需要3位來表示（所以偏移量的29 = 32 - 3）
   /**
    * RUNNING    :    接受新任務並且處理已經進入阻塞隊列的任務
    * SHUTDOWN    ：    不接受新任務，但是處理已經進入阻塞隊列的任務
    * STOP        :    不接受新任務，不處理已經進入阻塞隊列的任務並且中斷正在運行的任務
    * TIDYING    :    所有的任務都已經終止，workerCount爲0， 線程轉化爲TIDYING狀態並且調用terminated鉤子函數
    * TERMINATED:    terminated鉤子函數已經運行完成
    **/
    private static final int RUNNING    = -1 << COUNT_BITS;
    private static final int SHUTDOWN   =  0 << COUNT_BITS;
    private static final int STOP       =  1 << COUNT_BITS;
    private static final int TIDYING    =  2 << COUNT_BITS;
    private static final int TERMINATED =  3 << COUNT_BITS;
    // 阻塞隊列
    private final BlockingQueue<Runnable> workQueue;
    // 可重入鎖
    private final ReentrantLock mainLock = new ReentrantLock();
    // 存放工作線程集合
    private final HashSet<Worker> workers = new HashSet<Worker>();
    // 終止條件
    private final Condition termination = mainLock.newCondition();
    // 最大線程池容量
    private int largestPoolSize;
    // 已完成任務數量
    private long completedTaskCount;
    // 線程工廠
    private volatile ThreadFactory threadFactory;
    // 拒絕執行處理器
    private volatile RejectedExecutionHandler handler;
    // 線程等待運行時間
    private volatile long keepAliveTime;
    // 是否運行核心線程超時
    private volatile boolean allowCoreThreadTimeOut;
    // 核心池的大小
    private volatile int corePoolSize;
    // 最大線程池大小
    private volatile int maximumPoolSize;
    // 默認拒絕執行處理器
    private static final RejectedExecutionHandler defaultHandler =
        new AbortPolicy();

構造方法

    public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              ThreadFactory threadFactory,
                              RejectedExecutionHandler handler) {
        if (corePoolSize < 0 ||                                                // 核心大小不能小於0
            maximumPoolSize <= 0 ||                                            // 線程池的初始最大容量不能小於0
            maximumPoolSize < corePoolSize ||                                // 初始最大容量不能小於核心大小
            keepAliveTime < 0)                                                // keepAliveTime不能小於0
            throw new IllegalArgumentException();                                
        if (workQueue == null || threadFactory == null || handler == null)
            throw new NullPointerException();
        // 初始化相應的域
        this.corePoolSize = corePoolSize;
        this.maximumPoolSize = maximumPoolSize;
        this.workQueue = workQueue;
        this.keepAliveTime = unit.toNanos(keepAliveTime);
        this.threadFactory = threadFactory;
        this.handler = handler;
    }

提交任務

/*
* 進行下面三步
*
* 1. 如果運行的線程小於corePoolSize,則嘗試使用用戶定義的Runnalbe對象創建一個新的線程
*     調用addWorker函數會原子性的檢查runState和workCount，通過返回false來防止在不應
*     該添加線程時添加了線程
* 2. 如果一個任務能夠成功入隊列，在添加一個線城時仍需要進行雙重檢查（因爲在前一次檢查後
*     該線程死亡了），或者當進入到此方法時，線程池已經shutdown了，所以需要再次檢查狀態，
*    若有必要，當停止時還需要回滾入隊列操作，或者當線程池沒有線程時需要創建一個新線程
* 3. 如果無法入隊列，那麼需要增加一個新線程，如果此操作失敗，那麼就意味着線程池已經shut
*     down或者已經飽和了，所以拒絕任務
*/
public void execute(Runnable command) {
    if (command == null)
        throw new NullPointerException();
    // 獲取線程池控制狀態
    int c = ctl.get();
    if (workerCountOf(c) < corePoolSize) { // worker數量小於corePoolSize
        if (addWorker(command, true)) // 添加worker
            // 成功則返回
            return;
        // 不成功則再次獲取線程池控制狀態
        c = ctl.get();
    }
    // 線程池處於RUNNING狀態，將用戶自定義的Runnable對象添加進workQueue隊列
    if (isRunning(c) && workQueue.offer(command)) { 
        // 再次檢查，獲取線程池控制狀態
        int recheck = ctl.get();
        // 線程池不處於RUNNING狀態，將自定義任務從workQueue隊列中移除
        if (! isRunning(recheck) && remove(command)) 
            // 拒絕執行命令
            reject(command);
        else if (workerCountOf(recheck) == 0) // worker數量等於0
            // 添加worker
            addWorker(null, false);
    }
    else if (!addWorker(command, false)) // 添加worker失敗
        // 拒絕執行命令
        reject(command);
}

addWorker

原子性的增加workerCount。
將用戶給定的任務封裝成爲一個worker，並將此worker添加進workers集合中。
啓動worker對應的線程，並啓動該線程，運行worker的run方法。
回滾worker的創建動作，即將worker從workers集合中刪除，並原子性的減少workerCount。

private boolean addWorker(Runnable firstTask, boolean core) {
    retry:
    for (;;) { // 外層無限循環
        // 獲取線程池控制狀態
        int c = ctl.get();
        // 獲取狀態
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN &&            // 狀態大於等於SHUTDOWN，初始的ctl爲RUNNING，小於SHUTDOWN
            ! (rs == SHUTDOWN &&        // 狀態爲SHUTDOWN
               firstTask == null &&        // 第一個任務爲null
               ! workQueue.isEmpty()))     // worker隊列不爲空
            // 返回
            return false;

        for (;;) {
            // worker數量
            int wc = workerCountOf(c);
            if (wc >= CAPACITY ||                                // worker數量大於等於最大容量
                wc >= (core ? corePoolSize : maximumPoolSize))    // worker數量大於等於核心線程池大小或者最大線程池大小
                return false;
            if (compareAndIncrementWorkerCount(c))                 // 比較並增加worker的數量
                // 跳出外層循環
                break retry;
            // 獲取線程池控制狀態
            c = ctl.get();  // Re-read ctl
            if (runStateOf(c) != rs) // 此次的狀態與上次獲取的狀態不相同
                // 跳過剩餘部分，繼續循環
                continue retry;
            // else CAS failed due to workerCount change; retry inner loop
        }
    }

    // worker開始標識
    boolean workerStarted = false;
    // worker被添加標識
    boolean workerAdded = false;
    // 
    Worker w = null;
    try {
        // 初始化worker
        w = new Worker(firstTask);
        // 獲取worker對應的線程
        final Thread t = w.thread;
        if (t != null) { // 線程不爲null
            // 線程池鎖
            final ReentrantLock mainLock = this.mainLock;
            // 獲取鎖
            mainLock.lock();
            try {
                // Recheck while holding lock.
                // Back out on ThreadFactory failure or if
                // shut down before lock acquired.
                // 線程池的運行狀態
                int rs = runStateOf(ctl.get());

                if (rs < SHUTDOWN ||                                    // 小於SHUTDOWN
                    (rs == SHUTDOWN && firstTask == null)) {            // 等於SHUTDOWN並且firstTask爲null
                    if (t.isAlive()) // precheck that t is startable    // 線程剛添加進來，還未啓動就存活
                        // 拋出線程狀態異常
                        throw new IllegalThreadStateException();
                    // 將worker添加到worker集合
                    workers.add(w);
                    // 獲取worker集合的大小
                    int s = workers.size();
                    if (s > largestPoolSize) // 隊列大小大於largestPoolSize
                        // 重新設置largestPoolSize
                        largestPoolSize = s;
                    // 設置worker已被添加標識
                    workerAdded = true;
                }
            } finally {
                // 釋放鎖
                mainLock.unlock();
            }
            if (workerAdded) { // worker被添加
                // 開始執行worker的run方法
                t.start();
                // 設置worker已開始標識
                workerStarted = true;
            }
        }
    } finally {
        if (! workerStarted) // worker沒有開始
            // 添加worker失敗
            addWorkerFailed(w);
    }
    return workerStarted;
}

執行任務

runWorker函數中會實際執行給定任務（即調用用戶重寫的run方法），並且當給定任務完成後，會繼續從阻塞隊列中取任務，直到阻塞隊列爲空（即任務全部完成）。在執行給定任務時，會調用鉤子函數，利用鉤子函數可以完成用戶自定義的一些邏輯。在runWorker中會調用到getTask函數和processWorkerExit鉤子函數

final void runWorker(Worker w) {
    // 獲取當前線程
    Thread wt = Thread.currentThread();
    // 獲取w的firstTask
    Runnable task = w.firstTask;
    // 設置w的firstTask爲null
    w.firstTask = null;
    // 釋放鎖（設置state爲0，允許中斷）
    w.unlock(); // allow interrupts
    boolean completedAbruptly = true;
    try {
        while (task != null || (task = getTask()) != null) { // 任務不爲null或者阻塞隊列還存在任務
            // 獲取鎖
            w.lock();
            // If pool is stopping, ensure thread is interrupted;
            // if not, ensure thread is not interrupted.  This
            // requires a recheck in second case to deal with
            // shutdownNow race while clearing interrupt
            if ((runStateAtLeast(ctl.get(), STOP) ||    // 線程池的運行狀態至少應該高於STOP
                 (Thread.interrupted() &&                // 線程被中斷
                  runStateAtLeast(ctl.get(), STOP))) &&    // 再次檢查，線程池的運行狀態至少應該高於STOP
                !wt.isInterrupted())                    // wt線程（當前線程）沒有被中斷
                wt.interrupt();                            // 中斷wt線程（當前線程）
            try {
                // 在執行之前調用鉤子函數
                beforeExecute(wt, task);
                Throwable thrown = null;
                try {
                    // 運行給定的任務
                    task.run();
                } catch (RuntimeException x) {
                    thrown = x; throw x;
                } catch (Error x) {
                    thrown = x; throw x;
                } catch (Throwable x) {
                    thrown = x; throw new Error(x);
                } finally {
                    // 執行完後調用鉤子函數
                    afterExecute(task, thrown);
                }
            } finally {
                task = null;
                // 增加給worker完成的任務數量
                w.completedTasks++;
                // 釋放鎖
                w.unlock();
            }
        }
        completedAbruptly = false;
    } finally {
        // 處理完成後，調用鉤子函數
        processWorkerExit(w, completedAbruptly);
    }
}

此函數用於從workerQueue阻塞隊列中獲取Runnable對象，由於是阻塞隊列，所以支持有限時間等待（poll）和無限時間等待（take）。在該函數中還會響應shutDown和、shutDownNow函數的操作，若檢測到線程池處於SHUTDOWN或STOP狀態，則會返回null，而不再返回阻塞隊列中的Runnalbe對象。

    private Runnable getTask() {
        boolean timedOut = false; // Did the last poll() time out?

        for (;;) { // 無限循環，確保操作成功
            // 獲取線程池控制狀態
            int c = ctl.get();
            // 運行的狀態
            int rs = runStateOf(c);

            // Check if queue empty only if necessary.
            if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) { // 大於等於SHUTDOWN（表示調用了shutDown）並且（大於等於STOP（調用了shutDownNow）或者worker阻塞隊列爲空）
                // 減少worker的數量
                decrementWorkerCount();
                // 返回null，不執行任務
                return null;
            }
            // 獲取worker數量
            int wc = workerCountOf(c);

            // Are workers subject to culling?
            boolean timed = allowCoreThreadTimeOut || wc > corePoolSize; // 是否允許coreThread超時或者workerCount大於核心大小

            if ((wc > maximumPoolSize || (timed && timedOut))     // worker數量大於maximumPoolSize
                && (wc > 1 || workQueue.isEmpty())) {            // workerCount大於1或者worker阻塞隊列爲空（在阻塞隊列不爲空時，需要保證至少有一個wc）
                if (compareAndDecrementWorkerCount(c))            // 比較並減少workerCount
                    // 返回null，不執行任務，該worker會退出
                    return null;
                // 跳過剩餘部分，繼續循環
                continue;
            }

            try {
                Runnable r = timed ?
                    workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :    // 等待指定時間
                    workQueue.take();                                        // 一直等待，直到有元素
                if (r != null)
                    return r;
                // 等待指定時間後，沒有獲取元素，則超時
                timedOut = true;
            } catch (InterruptedException retry) {
                // 拋出了被中斷異常，重試，沒有超時
                timedOut = false;
            }
        }
    }

processWorkerExit函數是在worker退出時調用到的鉤子函數，而引起worker退出的主要因素如下

阻塞隊列已經爲空，即沒有任務可以運行了。
調用了shutDown或shutDownNow函數

此函數會根據是否中斷了空閒線程來確定是否減少workerCount的值，並且將worker從workers集合中移除並且會嘗試終止線程池。

    private void processWorkerExit(Worker w, boolean completedAbruptly) {
        if (completedAbruptly) // 如果被中斷，則需要減少workCount    // If abrupt, then workerCount wasn't adjusted
            decrementWorkerCount();
        // 獲取可重入鎖
        final ReentrantLock mainLock = this.mainLock;
        // 獲取鎖
        mainLock.lock();
        try {
            // 將worker完成的任務添加到總的完成任務中
            completedTaskCount += w.completedTasks;
            // 從workers集合中移除該worker
            workers.remove(w);
        } finally {
            // 釋放鎖
            mainLock.unlock();
        }
        // 嘗試終止
        tryTerminate();
        // 獲取線程池控制狀態
        int c = ctl.get();
        if (runStateLessThan(c, STOP)) { // 小於STOP的運行狀態
            if (!completedAbruptly) {
                int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
                if (min == 0 && ! workQueue.isEmpty()) // 允許核心超時並且workQueue阻塞隊列不爲空
                    min = 1;
                if (workerCountOf(c) >= min) // workerCount大於等於min
                    // 直接返回
                    return; // replacement not needed
            }
            // 添加worker
            addWorker(null, false);
        }
    }

關閉線程池

    public void shutdown() {
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            // 檢查shutdown權限
            checkShutdownAccess();
            // 設置線程池控制狀態爲SHUTDOWN
            advanceRunState(SHUTDOWN);
            // 中斷空閒worker
            interruptIdleWorkers();
            // 調用shutdown鉤子函數
            onShutdown(); // hook for ScheduledThreadPoolExecutor
        } finally {
            mainLock.unlock();
        }
        // 嘗試終止
        tryTerminate();
    }

    final void tryTerminate() {
        for (;;) { // 無限循環，確保操作成功
            // 獲取線程池控制狀態
            int c = ctl.get();
            if (isRunning(c) ||                                            // 線程池的運行狀態爲RUNNING
                runStateAtLeast(c, TIDYING) ||                            // 線程池的運行狀態最小要大於TIDYING
                (runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))    // 線程池的運行狀態爲SHUTDOWN並且workQueue隊列不爲null
                // 不能終止，直接返回
                return;
            if (workerCountOf(c) != 0) { // 線程池正在運行的worker數量不爲0    // Eligible to terminate
                // 僅僅中斷一個空閒的worker
                interruptIdleWorkers(ONLY_ONE);
                return;
            }
            // 獲取線程池的鎖
            final ReentrantLock mainLock = this.mainLock;
            // 獲取鎖
            mainLock.lock();
            try {
                if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) { // 比較並設置線程池控制狀態爲TIDYING
                    try {
                        // 終止，鉤子函數
                        terminated();
                    } finally {
                        // 設置線程池控制狀態爲TERMINATED
                        ctl.set(ctlOf(TERMINATED, 0));
                        // 釋放在termination條件上等待的所有線程
                        termination.signalAll();
                    }
                    return;
                }
            } finally {
                // 釋放鎖
                mainLock.unlock();
            }
            // else retry on failed CAS
        }
    }

    private void interruptIdleWorkers(boolean onlyOne) {
        // 線程池的鎖
        final ReentrantLock mainLock = this.mainLock;
        // 獲取鎖
        mainLock.lock();
        try {
            for (Worker w : workers) { // 遍歷workers隊列
                // worker對應的線程
                Thread t = w.thread;
                if (!t.isInterrupted() && w.tryLock()) { // 線程未被中斷並且成功獲得鎖
                    try {
                        // 中斷線程
                        t.interrupt();
                    } catch (SecurityException ignore) {
                    } finally {
                        // 釋放鎖
                        w.unlock();
                    }
                }
                if (onlyOne) // 若只中斷一個，則跳出循環
                    break;
            }
        } finally {
            // 釋放鎖
            mainLock.unlock();
        }
    }

Java之線程池源碼解析

線程池

文章目錄

線程池概述

創建一個線程池並提交線程任務

線程池源碼解析

參數認識

構造方法

提交任務

addWorker

執行任務

關閉線程池

Java計算賬戶餘額的核心方法

阿里雲服務器、CentOS7開啓、關閉防火牆命令

Java對List裏面的元素實現按指定字段排序的方法

數據操作日誌記錄表設計、可以查詢、恢復歷史數據記錄

Java分佈式爬蟲架構圖

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結