这个框架的目的主要是更好地利用底层平台上的多核CPU和多处理器来进行处理,解决问题时通常使用分治算法或map/reduce算法来进行.这个框架的名称来源于使用时的两个基本操作fork和join,可以类比于map/reduce中的map和reduce操作.fork操作的作用是把一个大的问题划分成若干个较小的问题.这个划分过程一般是递归进行的,直到得到可以直接进行计算的粒度合适的子问题.在划分时,需要恰当地选取子问题的大小.太大的子问题不利于通过并行方式来提高性能,而太小的子问题则会带来较大的额外开销.每个子问题在计算完成之后,可以得到关于整个问题的部分解.join操作的作用是把这些部分解收集并组织起来,得到最终的完整解.调用join操作的过程也可能是递归进行的,于fork操作相对应.
相对于一般的线程池实现,fork/join框架的优势体现在对其中包含的任务的处理方式上.在一般的线程池中,如果一个线程正在执行的任务由于某些原因无法继续运行,那么该线程会处于等待状态.而在fork/join框架实现中,如果某个子问题由于等待另外一个子问题的完成而无法继续运行.那么处理该子问题的线程会主动寻找其他尚未运行的子问题来执行.这种方式减少了线程的等待时间,提高了性能.为了fork/join框架能够高效运行,在每个子问题的实现中应该避免使用synchronized关键字或其他方式来进行同步,也不应该使用阻塞式I/O操作或过多地访问共享变量.在理想情况下,每个子问题的实现中都应该只进行CPU相关的计算,并且只使用每个问题的内部对象.唯一的同步应该只发生在子问题和创建它的父问题之间.
一个fork/join框架执行的任务由ForkJoinTask类表示.ForkJoinTask类实现了Future接口,可以按照Future接口的方式来使用.在ForkJoinTask类中最重要的两个方法是fork和join,其中fork方法用来以异步方式启动任务的执行,而join方法则等待任务完成并返回执行结果.在创建自己的任务时,最好不要直接继承自ForkJoinTask类,而要继承自ForkJoinTask类的子类RecursiveTask或RecursiveAction类.两者的区别在于RecursiveTask类表示的任务可以返回结果,而RecursiveAction类不行.
在fork/join框架中,任务的执行由ForkJoinPool类的对象来完成.ForkJoinPool类实现了ExecutorService接口,除了执行ForkJoinTask类的对新外,还可以使用一般的Callable和Runnable接口来表示的任务,在ForkJoinPool类的对新中执行的任务大致可以分成两类:一类是通过execute,invoke或submit方法直接提交的任务;另外一类是ForkJoinTask类的对新在执行过程中产生的子任务,并通过fork方法来运行.一般的做法是表示整个问题的ForkJoinTask类的对象用第一类形式提交,而在执行过程中产生的子任务并不需要进行处理,ForkJoinPool类的对新会负责子任务的执行.
import java.io.File;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.ForkJoinTask;
import java.util.concurrent.RecursiveTask;
/**
* <pre>
* 轻量级任务执行框架fork/join详解,使用该框架计算文件目录大小
* </pre>
* User: ketqi
* Date: 2013-01-27 17:40
*/
public class ForkJoinDemo {
private static class CalculateTask extends RecursiveTask<Long> {
final File file;
public CalculateTask(final File theFile) {
file = theFile;
}
@Override
public Long compute() {
long size = 0;
if (file.isFile()) {
size = file.length();
} else {
final File[] children = file.listFiles();
if (children != null) {
List<ForkJoinTask<Long>> taskList = new ArrayList<ForkJoinTask<Long>>();
for (final File child : children) {
if (child.isFile()) {
size += child.length();
} else {
taskList.add(new CalculateTask(child));
}
}
//invokeAll方法循环调用task.fork()执行子任务.
for (final ForkJoinTask<Long> task : invokeAll(taskList)) {
//task.join()方法等待任务完成并返回执行的结果
size += task.join();
}
}
}
return size;
}
}
public static void main(String[] args) {
long start = System.nanoTime();
long total = new ForkJoinPool().invoke(new CalculateTask(new File("E:\\workspace\\java7")));
long end = System.nanoTime();
System.out.println("Total Size: " + total + "B");
System.out.println("Time taken: " + (end - start) / 1.0e9);
}
}