【JDK源码分析系列】ThreadPoolExecutor 源码解析 -- 任务提交与运行
【1】线程池任务的提交
【1.1】AbstractExecutorService -- submit
submit 方法主要完成的任务
1. 把 Runnable 和 Callable 都转化成 FutureTask;
2. 使用 execute 方法执行 FutureTask;
// submit 方法是使用线程池时提交任务的方法,支持 Runable 和 Callable 两种任务的提交,
// 方法中 execute 方法是其子类 ThreadPoolExecutor 实现的,不管是哪种任务入参,
// execute 方法最终执行的任务都是 FutureTask
//
// 提交无返回值的 Runnable 任务
public Future<?> submit(Runnable task) {
if (task == null) throw new NullPointerException();
// ftask 其实是 FutureTask
RunnableFuture<Void> ftask = newTaskFor(task, null);
execute(ftask);
return ftask;
}
/**
* @throws RejectedExecutionException {@inheritDoc}
* @throws NullPointerException {@inheritDoc}
*/
// 提交有返回值的 Runnable 任务,
// task 是 Runnable 类型在 FutureTask 中进行向 Callable 的转换
public <T> Future<T> submit(Runnable task, T result) {
if (task == null) throw new NullPointerException();
RunnableFuture<T> ftask = newTaskFor(task, result);
execute(ftask);
return ftask;
}
/**
* @throws RejectedExecutionException {@inheritDoc}
* @throws NullPointerException {@inheritDoc}
*/
// 提交 Callable 任务
public <T> Future<T> submit(Callable<T> task) {
if (task == null) throw new NullPointerException();
RunnableFuture<T> ftask = newTaskFor(task);
execute(ftask);
return ftask;
}
【1.2】ThreadPoolExecutor -- execute
// 阻塞队列的常见方法总结 :
// 1、offer()和add()的区别
// add()和offer()都是向队列中添加一个元素
// 但是如果想在一个满的队列中加入一个新元素,调用 add() 方法就会抛出一个unchecked 异常,
// 而调用 offer() 方法会返回 false;
// 2、peek()和element()的区别
// peek()和element()都将在不移除的情况下返回队头,
// 但是peek()方法在队列为空时返回null,调用element()方法会抛出NoSuchElementException异常;
// 3、poll()和remove()的区别
// poll()和remove()都将移除并且返回队头,
// 但是在poll()在队列为空时返回null,而remove()会抛出NoSuchElementException异常;
// 4、take():取走BlockingQueue里排在首位的对象,若BlockingQueue为空,阻塞i进入等待状态直到Blocking有新的对象被加入为止
public void execute(Runnable command) {
// 确保 command 不为 null
if (command == null)
throw new NullPointerException();
int c = ctl.get();
// 工作的线程小于核心线程数,创建新的线程,成功返回,失败不抛异常
if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
// 线程池状态可能发生变化
c = ctl.get();
}
// 工作的线程大于核心线程数,或者新建线程失败
// 线程池状态正常,并且可以入队的话,尝试入队列
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
// 如果线程池状态异常 尝试从队列中移除任务,可以移除的话就拒绝掉任务
if (!isRunning(recheck) && remove(command))
// 调用拒绝策略
reject(command);
// 发现可运行的线程数是 0,就初始化一个线程,这里是个极限情况,入队的时候,突然发现
// 线程都被回收了
else if (workerCountOf(recheck) == 0)
// Runnable是空的,不会影响新增线程,但是线程在 start 的时候不会运行
// Thread.run() 里面有判断
addWorker(null, false);
}
// 队列满了,开启线程到 maxSize,如果失败直接拒绝,
else if (!addWorker(command, false))
// 调用拒绝策略
reject(command);
}
【1.3】ThreadPoolExecutor -- addWorker
// 结合线程池的情况看是否可以添加新的 worker
// firstTask 不为空可以直接执行,为空执行不了,Thread.run()方法有判断,Runnable为空不执行
// core 为 true 表示线程最大新增个数是 coresize,false 表示最大新增个数是 maxsize
// 返回 true 代表成功,false 失败
// break retry 跳到retry处,且不再进入循环
// continue retry 跳到retry处,且再次进入循环
//
//addWorker 方法首先是执行了一堆校验,然后使用 new Worker (firstTask) 新建了 Worker,最后使用 t.start () 执行 Worker;
//Worker 在初始化时的关键代码:this.thread = getThreadFactory ().newThread (this),
//Worker(this) 是作为新建线程的构造器入参的,所以 t.start () 会执行到 Worker 的 run 方法上
private boolean addWorker(Runnable firstTask, boolean core) {
retry:
// 校验各种状态
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// Check if queue empty only if necessary.
// rs >= SHUTDOWN 说明线程池状态不正常
/**
* rs!=Shutdown || fistTask!=null || workCount.isEmpty
* 如果当前的线程池的状态>SHUTDOWN 那么拒绝Worker的add 如果=SHUTDOWN
* 那么此时不能新加入不为null的Task,如果在WorkCount为empty的时候不能加入任何类型的Worker,
* 如果不为empty可以加入task为null的Worker,增加消费的Worker
*/
if (rs >= SHUTDOWN &&
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty()))
return false;
for (;;) {
int wc = workerCountOf(c);
// 工作中的线程数大于等于容量,或者大于等于 coreSize or maxSize
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
return false;
if (compareAndIncrementWorkerCount(c))
// break 结束 retry 的 for 循环
break retry;
c = ctl.get(); // Re-read ctl
// 线程池状态被更改
if (runStateOf(c) != rs)
// 跳转到retry位置
continue retry;
// else CAS failed due to workerCount change; retry inner loop
}
}
boolean workerStarted = false;
boolean workerAdded = false;
Worker w = null;
try {
// 巧妙的设计,Worker 本身是个 Runnable.
// 在初始化的过程中,会把 worker 丢给 thread 去初始化
w = new Worker(firstTask);
final Thread t = w.thread;
if (t != null) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// Recheck while holding lock.
// Back out on ThreadFactory failure or if
// shut down before lock acquired.
int rs = runStateOf(ctl.get());
if (rs < SHUTDOWN ||
(rs == SHUTDOWN && firstTask == null)) {
if (t.isAlive()) // precheck that t is startable
throw new IllegalThreadStateException();
// 包含线程池中所有的工作线程
// private final HashSet<Worker> workers = new HashSet<Worker>();
workers.add(w);
int s = workers.size();
if (s > largestPoolSize)
largestPoolSize = s;
workerAdded = true;
}
} finally {
mainLock.unlock();
}
if (workerAdded) {
//启动线程
t.start();
workerStarted = true;
}
}
} finally {
if (! workerStarted)
//worker 启动失败则将 woker 从队列中移除并中断该 worker
addWorkerFailed(w);
}
return workerStarted;
}
【1.4】ThreadPoolExecutor -- addWorkerFailed
private void addWorkerFailed(Worker w) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//将 worker 从队列中移除
if (w != null)
workers.remove(w);
//减少 worker 的数量
decrementWorkerCount();
//尝试终止 workder
tryTerminate();
} finally {
mainLock.unlock();
}
}
【2】线程池任务的运行
【2.1】ThreadPoolExecutor -- runWorker
final void runWorker(Worker w) {
Thread wt = Thread.currentThread();
Runnable task = w.firstTask;
//帮助gc回收
w.firstTask = null;
w.unlock(); // allow interrupts
boolean completedAbruptly = true;
try {
// 1:任务入队列了,若没有运行的线程,于是新增一个线程;
// 2:线程执行完任务执行,再次回到 while 循环
// 如果 task 为空,会使用 getTask 方法阻塞从队列中拿数据,如果拿不到数据,会阻塞住
while (task != null || (task = getTask()) != null) {
//锁住worker
w.lock();
// 线程池stop中,但是线程没有到达中断状态,帮助线程中断
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
//执行before钩子函数
//由子类实现
beforeExecute(wt, task);
Throwable thrown = null;
try {
//同步执行任务
task.run();
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
//执行after钩子函数,如果这里抛出异常,会覆盖catch的异常
//所以这里异常最好不要抛出来
//由子类实现
afterExecute(task, thrown);
}
} finally {
//任务执行完成,计算解锁
task = null;
w.completedTasks++;
w.unlock();
}
}
completedAbruptly = false;
} finally {
//做一些抛出异常的善后工作
processWorkerExit(w, completedAbruptly);
}
}
【2.2】ThreadPoolExecutor -- getTask
// 从阻塞队列中拿任务
// 1. 使用队列的 poll 或 take 方法从队列中拿数据,根据队列的特性,队列中有任务可以返回,队列中无任务会阻塞;
// 2. 方法中的第二个 if 判断,说的是在满足一定条件下 (条件看注释),会减少空闲的线程,减少的手段是使可用线程数减一,
// 并且直接 return,直接 return 后,该线程就执行结束了,JVM 会自动回收该线程
private Runnable getTask() {
boolean timedOut = false; // Did the last poll() time out?
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
//线程池关闭 && 队列为空,不需要在运行了,直接放回
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
decrementWorkerCount();
//直接 return 后,该线程就执行结束了,JVM 会自动回收该线程
return null;
}
int wc = workerCountOf(c);
// Are workers subject to culling?
// true 运行的线程数大于 coreSize || 核心线程也可以被灭亡
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
// 队列以 LinkedBlockingQueue 为例,timedOut 为 true 说明 poll 方法执行返回的是 null
// 说明在等待 keepAliveTime 时间后,队列中仍然没有数据
// 说明此线程已经空闲了 keepAliveTime 了
// 再加上 wc > 1 || workQueue.isEmpty() 的判断
// 所以使用 compareAndDecrementWorkerCount 方法使线程池数量减少 1
// 并且直接 return,return 之后,此空闲的线程会自动被回收
if ((wc > maximumPoolSize || (timed && timedOut))
&& (wc > 1 || workQueue.isEmpty())) {
//减少线程池中的线程数量并释放空闲线程
if (compareAndDecrementWorkerCount(c))
return null;
continue;
}
try {
// 从队列中拿 worker
Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
if (r != null)
return r;
// 设置已超时,说明此时队列没有数据
timedOut = true;
} catch (InterruptedException retry) {
timedOut = false;
}
}
}
【2.3】ThreadPoolExecutor -- processWorkerExit
//做抛出异常时的善后工作
//开始清理并且标记一个即将销毁的Worker
//传入参数
//Worker w:要执行退出的Worker对象
//boolean completedAbruptly:是否用户异常退出,true为异常退出
private void processWorkerExit(Worker w, boolean completedAbruptly) {
//添加任务时workerCount已经+1了,completedAbruptly=true表示消费的时候出异常了
//判断是否是意外退出的,如果是意外退出的话,那么就需要把WorkerCount--
if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted
decrementWorkerCount();
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//加完锁后,同步将completedTaskCount进行增加,表示总共完成的任务数,
//并且从WorkerSet中将对应的Worker移除
completedTaskCount += w.completedTasks;
workers.remove(w);
} finally {
mainLock.unlock();
}
//调用tryTemiate,进行判断当前的线程池是否处于SHUTDOWN状态,判断是否要终止线程
tryTerminate();
int c = ctl.get();
//判断当前的线程池状态,如果当前线程池状态比STOP大的话,就不处理
if (runStateLessThan(c, STOP)) {
//判断是否是意外退出,如果不是意外退出的话,那么就会判断最少要保留的核心线程数,
//如果allowCoreThreadTimeOut被设置为true的话,那么说明核心线程在设置的KeepAliveTime之后,也会被销毁
if (!completedAbruptly) {
int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
//如果最少保留的Worker数为0的话,那么就会判断当前的任务队列是否为空,
//如果任务队列不为空的话而且线程池没有停止,那么说明至少还需要1个线程继续将任务完成
if (min == 0 && ! workQueue.isEmpty())
min = 1;
//判断当前的Worker是否大于min,也就是说当前的Worker总数大于最少需要的Worker数的话,
//那么就直接返回,因为剩下的Worker会继续从WorkQueue中获取任务执行
if (workerCountOf(c) >= min)
return; // replacement not needed
}
//如果当前运行的Worker数比当前所需要的Worker数少的话,那么就会调用addWorker,
//添加新的Worker,也就是新开启线程继续处理任务
addWorker(null, false);
}
}
【2.4】ThreadPoolExecutor -- tryTerminate
//试图终止
//在以下情况将线程池变为TERMINATED终止状态
//shutdown且正在运行的worker和workQueue队列都empty
//stop且没有正在运行的worker
//
//这个方法必须在任何可能导致线程池终止的情况下被调用,如:
//减少worker数量
//shutdown时从queue中移除任务
//这个方法不是私有的,所以允许子类ScheduledThreadPoolExecutor调用
final void tryTerminate() {
for (;;) {
int c = ctl.get();
//正在运行
if (isRunning(c) ||
//tidying terminated
runStateAtLeast(c, TIDYING) ||
//shutdown 且 队列不为空
(runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))
//综合上面3个条件,可以推断出当线程池stop或者shutdown
//且任务队列为空,就可以去terminated了
return;
//worker的数量不为零,说明还有任务在执行,所以先不要terminated线程池
if (workerCountOf(c) != 0) { // Eligible to terminate
interruptIdleWorkers(ONLY_ONE);
return;
}
//如果状态是SHUTDOWN,workQueue也为空了,正在运行的worker也没有了,开始terminated
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//CAS:将线程池的ctl变成TIDYING(所有的任务被终止,workCount为0,为此状态时将会调用terminated()方法),
//期间ctl有变化就会失败,会再次for循环
if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {
try {
//终止线程, 由子类实现
terminated();
} finally {
//将线程池的ctl变成TERMINATED
ctl.set(ctlOf(TERMINATED, 0));
//唤醒调用等待线程池终止的线程awaitTermination()
termination.signalAll();
}
return;
}
} finally {
mainLock.unlock();
}
// else retry on failed CAS
// 如果上面的CAS判断false,再次循环
}
}
【2.5】ThreadPoolExecutor -- interruptIdleWorkers
//回收空余线程
//onlyOne如果为true,最多interrupt一个worker
//只有当终止流程已经开始,但线程池还有worker线程时,tryTerminate()方法会做调用onlyOne为true的调用
//(终止流程已经开始指的是:shutdown状态且workQueue为空或者stop状态)
//在这种情况下,最多有一个worker被中断,为了传播shutdown信号,以免所有的线程都在等待
//为保证线程池最终能终止,这个操作总是中断一个空闲worker
//而shutdown()中断所有空闲worker,来保证空闲线程及时退出
private void interruptIdleWorkers(boolean onlyOne) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//循环回收,onlyOne=false,说明要回收很多个
for (Worker w : workers) {
Thread t = w.thread;
//线程没有被打断,并且worker可以获得锁,那么当前线程可以被打断
if (!t.isInterrupted() && w.tryLock()) {
try {
//建议线程中断
t.interrupt();
} catch (SecurityException ignore) {
} finally {
w.unlock();
}
}
if (onlyOne)
//退出循环
break;
}
} finally {
mainLock.unlock();
}
}
参考致谢
本博客为博主的学习实践总结,并参考了众多博主的博文,在此表示感谢,博主若有不足之处,请批评指正。
【2】Java线程池ThreadPoolExecutor使用和分析(二) - execute()原理
【3】深入理解java线程池—ThreadPoolExecutor
【4】Java线程池---processWorkerExit方法解析