Java 8 Stream 學習筆記

Stream 類全路徑爲：java.util.stream.Stream

作爲 Java 8 的一大亮點，它與 java.io 包裏的 InputStream 和 OutputStream 是完全不同的概念。它也不同於 StAX 對 XML 解析的 Stream，也不是 Amazon Kinesis 對大數據實時處理的 Stream。Java 8 中的 Stream 是對集合（Collection）對象功能的增強，它專注於對集合對象進行各種非常便利、高效的聚合操作（aggregate operation），或者大批量數據操作 (bulk data operation)。Stream API 藉助於同樣新出現的 Lambda 表達式，極大的提高編程效率和程序可讀性。同時它提供串行和並行兩種模式進行匯聚操作，併發模式能夠充分利用多核處理器的優勢，使用 fork/join 並行方式來拆分任務和加速處理過程。通常編寫並行代碼很難而且容易出錯, 但使用 Stream API 無需編寫一行多線程的代碼，就可以很方便地寫出高性能的併發程序。所以說，Java 8 中首次出現的 java.util.stream 是一個函數式語言+多核時代綜合影響的產物。

Stream 不是集合元素，它不是數據結構並不保存數據，它是有關算法和計算的，它更像一個高級版本的 Iterator。原始版本的 Iterator，用戶只能顯式地一個一個遍歷元素並對其執行某些操作；高級版本的 Stream，用戶只要給出需要對其包含的元素執行什麼操作，比如 “過濾掉長度大於 10 的字符串”、“獲取每個字符串的首字母”等，Stream 會隱式地在內部進行遍歷，做出相應的數據轉換。

Stream 就如同一個迭代器（Iterator），單向，不可往復，數據只能遍歷一次，遍歷過一次後即用盡了，就好比流水從面前流過，一去不復返。

而和迭代器又不同的是，Stream 可以並行化操作，迭代器只能命令式地、串行化操作。顧名思義，當使用串行方式去遍歷時，每個 item 讀完後再讀下一個 item。而使用並行去遍歷時，數據會被分成多個段，其中每一個都在不同的線程中處理，然後將結果一起輸出。Stream 的並行操作依賴於 Java7 中引入的 Fork/Join 框架（JSR166y）來拆分任務和加速處理過程。Java 的並行 API 演變歷程基本如下：

1.0-1.4 中的 java.lang.Thread
5.0 中的 java.util.concurrent
6.0 中的 Phasers 等
7.0 中的 Fork/Join 框架
8.0 中的 Lambda

Stream 的另外一大特點是，數據源本身可以是無限的（？）

流的構成

當我們使用一個流的時候，通常包括三個基本步驟：

獲取一個數據源（source）→ 數據轉換→執行操作獲取想要的結果，每次轉換原有 Stream 對象不改變，返回一個新的 Stream 對象（可以有多次轉換），這就允許對其操作可以像鏈條一樣排列，變成一個管道，如下圖所示。

圖 1. 流管道 (Stream Pipeline) 的構成

有多種方式生成 Stream Source：

從 Collection 和數組
- Collection.stream()
- Collection.parallelStream()
- Arrays.stream(T array) or Stream.of()
從 BufferedReader
- java.io.BufferedReader.lines()
靜態工廠
java.util.stream.IntStream.range()
java.nio.file.Files.walk()
自己構建
- java.util.Spliterator
其它
- Random.ints()
- BitSet.stream()
- Pattern.splitAsStream(java.lang.CharSequence)
- JarFile.stream()

流的操作類型分爲兩種：

Intermediate：一個流可以後面跟隨零個或多個 intermediate 操作。其目的主要是打開流，做出某種程度的數據映射/過濾，然後返回一個新的流，交給下一個操作使用。這類操作都是惰性化的（lazy），就是說，僅僅調用到這類方法，並沒有真正開始流的遍歷。
Terminal：一個流只能有一個 terminal 操作，當這個操作執行後，流就被使用“光”了，無法再被操作。所以這必定是流的最後一個操作。Terminal 操作的執行，纔會真正開始流的遍歷，並且會生成一個結果，或者一個 side effect。

在對於一個 Stream 進行多次轉換操作 (Intermediate 操作)，每次都對 Stream 的每個元素進行轉換，而且是執行多次，這樣時間複雜度就是 N（轉換次數）個 for 循環裏把所有操作都做掉的總和嗎？其實不是這樣的，轉換操作都是 lazy 的，多個轉換操作只會在 Terminal 操作的時候融合起來，一次循環完成。我們可以這樣簡單的理解，Stream 裏有個操作函數的集合，每次轉換操作就是把轉換函數放入這個集合中，在 Terminal 操作的時候循環 Stream 對應的集合，然後對每個元素執行所有的函數。

還有一種操作被稱爲 short-circuiting。用以指：

對於一個 intermediate 操作，如果它接受的是一個無限大（infinite/unbounded）的 Stream，但返回一個有限的新 Stream。
對於一個 terminal 操作，如果它接受的是一個無限大的 Stream，但能在有限的時間計算出結果。

當操作一個無限大的 Stream，而又希望在有限時間內完成操作，則在管道內擁有一個 short-circuiting 操作是必要非充分條件。

清單 3. 一個流操作的示例

stream() 獲取當前小物件的 source，filter 和 mapToInt 爲 intermediate 操作，進行數據篩選和轉換，最後一個 sum() 爲 terminal 操作，對符合條件的全部小物件作重量求和。

流的使用詳解

簡單說，對 Stream 的使用就是實現一個 filter-map-reduce 過程，產生一個最終結果，或者導致一個副作用（side effect）。

具體用法

1. 流的常用創建方法

1.1 使用Collection下的 stream() 和 parallelStream() 方法

List<String> list = new ArrayList<>();
Stream<String> stream = list.stream(); //獲取一個順序流
Stream<String> parallelStream = list.parallelStream(); //獲取一個並行流

1.2 使用Arrays 中的 stream() 方法，將數組轉成流

Integer[] nums = new Integer[10];
Stream<Integer> stream = Arrays.stream(nums);

1.3 使用Stream中的靜態方法：of()、iterate()、generate()

Stream<Integer> stream1 = Stream.of(1,2,3,4,5);
/**
* iterate第一個參數是種子，第二個參數爲元素值的生成過程，也就是
* 除第一個位置（0位置）之後的元素值都由前一個元素值作爲輸入參數（x），
* limit是限制Stream長度
*/
Stream<Integer> stream2 = Stream.iterate(0, x -> x + 2).limit(6);
stream2.forEach(System.out::println);//0 2 4 6 8 10
		
Stream<Double> stream3 = Stream.generate(Math::random).limit(2);
stream3.forEach(System.out::println);//0.4196684476746345 0.9268584030269439

1.4 使用 BufferedReader.lines() 方法，將每行內容轉成流

BufferedReader reader = new BufferedReader(new FileReader("F:\\test_stream.txt"));
Stream<String> lineStream = reader.lines();
lineStream.forEach(System.out::println);

1.5 使用 Pattern.splitAsStream() 方法，將字符串分隔成流

Pattern pattern = Pattern.compile(",");
Stream<String> stringStream = pattern.splitAsStream("a,b,c,d");
stringStream.forEach(System.out::println);

2. 流的中間操作

2.1 篩選與切片
        filter：過濾流中的某些元素
        limit(n)：獲取n個元素
        skip(n)：跳過n元素，配合limit(n)可實現分頁
        distinct：通過流中元素的 hashCode() 和 equals() 去除重複元素

Stream<Integer> stream = Stream.of(6, 4, 6, 7, 3, 9, 8, 10, 12, 14, 14);
 
Stream<Integer> newStream = stream.filter(s -> s > 5) //6 6 7 9 8 10 12 14 14
        .distinct() //6 7 9 8 10 12 14
        .skip(2) //9 8 10 12 14
        .limit(2); //9 8
newStream.forEach(System.out::println);

2.2 映射
       map：接收一個函數作爲參數，該函數會被應用到每個元素上，並將其映射成一個新的元素。
       flatMap：接收一個函數作爲參數，將流中的每個值都換成另一個流，然後把所有流連接成一個流。

List<String> list = Arrays.asList("a,b,c", "1,2,3");
 
//將每個元素轉成一個新的且不帶逗號的元素
Stream<String> s1 = list.stream().map(s -> s.replaceAll(",", ""));
s1.forEach(System.out::println); // abc  123
 
Stream<String> s3 = list.stream().flatMap(s -> {
    //將每個元素轉換成一個stream
    String[] split = s.split(",");
    Stream<String> s2 = Arrays.stream(split);
    return s2;
});
s3.forEach(System.out::println); // a b c 1 2 3

2.3 排序
sorted()：自然排序，流中元素需實現Comparable接口
sorted(Comparator com)：定製排序，自定義Comparator排序器

List<String> list = Arrays.asList("aa", "ff", "dd");
//String 類自身已實現Compareable接口
list.stream().sorted().forEach(System.out::println);// aa dd ff
 
Student s1 = new Student("aa", 10);
Student s2 = new Student("bb", 20);
Student s3 = new Student("aa", 30);
Student s4 = new Student("dd", 40);
List<Student> studentList = Arrays.asList(s1, s2, s3, s4);
 
//自定義排序：先按姓名升序，姓名相同則按年齡升序
studentList.stream().sorted(
        (o1, o2) -> {
            if (o1.getName().equals(o2.getName())) {
                return o1.getAge() - o2.getAge();
            } else {
                return o1.getName().compareTo(o2.getName());
            }
        }
).forEach(System.out::println);

2.4 消費
peek：如同於map，能得到流中的每一個元素。但map接收的是一個Function表達式，有返回值；而peek接收的是Consumer表達式，沒有返回值。

Student s1 = new Student("aa", 10);
Student s2 = new Student("bb", 20);
List<Student> studentList = Arrays.asList(s1, s2);
 
studentList.stream()
        .peek(o -> o.setAge(100))
        .forEach(System.out::println);   
 
//結果：
Student{name='aa', age=100}
Student{name='bb', age=100}

總結：peek接收一個沒有返回值的lambda表達式，可以做一些輸出，外部處理等。map接收一個有返回值的lambda表達式，之後Stream的泛型類型將轉換爲map參數lambda表達式返回的類型。

3. 流的終止操作

3.1 匹配、聚合操作
        allMatch：接收一個 Predicate 函數，當流中每個元素都符合該斷言時才返回true，否則返回false
        noneMatch：接收一個 Predicate 函數，當流中每個元素都不符合該斷言時才返回true，否則返回false
        anyMatch：接收一個 Predicate 函數，只要流中有一個元素滿足該斷言則返回true，否則返回false
        findFirst：返回流中第一個元素
        findAny：返回流中的任意元素
        count：返回流中元素的總個數
        max：返回流中元素最大值
        min：返回流中元素最小值

List<Integer> list = Arrays.asList(1, 2, 3, 4, 5);
 
boolean allMatch = list.stream().allMatch(e -> e > 10); //false
boolean noneMatch = list.stream().noneMatch(e -> e > 10); //true
boolean anyMatch = list.stream().anyMatch(e -> e > 4);  //true
 
Integer findFirst = list.stream().findFirst().get(); //1
Integer findAny = list.stream().findAny().get(); //1
 
long count = list.stream().count(); //5
Integer max = list.stream().max(Integer::compareTo).get(); //5
Integer min = list.stream().min(Integer::compareTo).get(); //1

3.2 規約操作
        Optional<T> reduce(BinaryOperator<T> accumulator)：第一次執行時，accumulator函數的第一個參數爲流中的第一個元素，第二個參數爲流中元素的第二個元素；第二次執行時，第一個參數爲第一次函數執行的結果，第二個參數爲流中的第三個元素；依次類推。
        T reduce(T identity, BinaryOperator<T> accumulator)：流程跟上面一樣，只是第一次執行時，accumulator函數的第一個參數爲identity，而第二個參數爲流中的第一個元素。
        <U> U reduce(U identity,BiFunction<U, ? super T, U> accumulator,BinaryOperator<U> combiner)：在串行流(stream)中，該方法跟第二個方法一樣，即第三個參數combiner不會起作用。在並行流(parallelStream)中,我們知道流被fork join出多個線程進行執行，此時每個線程的執行流程就跟第二個方法reduce(identity,accumulator)一樣，而第三個參數combiner函數，則是將每個線程的執行結果當成一個新的流，然後使用第一個方法reduce(accumulator)流程進行規約。

//經過測試，當元素個數小於24時，並行時線程數等於元素個數，當大於等於24時，並行時線程數爲16
List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24);
 
Integer v = list.stream().reduce((x1, x2) -> x1 + x2).get(); //相當於把所有數求和
System.out.println(v);   // 300
 
Integer v1 = list.stream().reduce(10, (x1, x2) -> x1 + x2);
System.out.println(v1);  //310
 
Integer v2 = list.stream().reduce(0,
        (x1, x2) -> {
            System.out.println("stream accumulator: x1:" + x1 + "  x2:" + x2);
            return x1 - x2;
        },
        (x1, x2) -> {
            System.out.println("stream combiner: x1:" + x1 + "  x2:" + x2);
            return x1 * x2;
        });
System.out.println(v2); // -300
 
Integer v3 = list.parallelStream().reduce(0,
        (x1, x2) -> {
            System.out.println("parallelStream accumulator: x1:" + x1 + "  x2:" + x2);
            return x1 - x2;
        },
        (x1, x2) -> {
            System.out.println("parallelStream combiner: x1:" + x1 + "  x2:" + x2);
            return x1 * x2;
        });
System.out.println(v3); //197474048

3.3 收集操作
        collect：接收一個Collector實例，將流中元素收集成另外一個數據結構。
        Collector<T, A, R> 是一個接口，有以下5個抽象方法：
            Supplier<A> supplier()：創建一個結果容器A
            BiConsumer<A, T> accumulator()：消費型接口，第一個參數爲容器A，第二個參數爲流中元素T。
            BinaryOperator<A> combiner()：函數接口，該參數的作用跟上一個方法(reduce)中的combiner參數一樣，將並行流中各                                                                 個子進程的運行結果(accumulator函數操作後的容器A)進行合併。
            Function<A, R> finisher()：函數式接口，參數爲：容器A，返回類型爲：collect方法最終想要的結果R。
            Set<Characteristics> characteristics()：返回一個不可變的Set集合，用來表明該Collector的特徵。有以下三個特徵：
                CONCURRENT：表示此收集器支持併發。（官方文檔還有其他描述，暫時沒去探索，故不作過多翻譯）
                UNORDERED：表示該收集操作不會保留流中元素原有的順序。
                IDENTITY_FINISH：表示finisher參數只是標識而已，可忽略。

3.3.1 Collector 工具庫：Collectors

Student s1 = new Student("aa", 10,1);
Student s2 = new Student("bb", 20,2);
Student s3 = new Student("cc", 10,3);
List<Student> list = Arrays.asList(s1, s2, s3);
 
//裝成list
List<Integer> ageList = list.stream().map(Student::getAge).collect(Collectors.toList()); // [10, 20, 10]
 
//轉成set
Set<Integer> ageSet = list.stream().map(Student::getAge).collect(Collectors.toSet()); // [20, 10]
 
//轉成map,注:key不能相同，否則報錯
Map<String, Integer> studentMap = list.stream().collect(Collectors.toMap(Student::getName, Student::getAge)); // {cc=10, bb=20, aa=10}
 
//字符串分隔符連接
String joinName = list.stream().map(Student::getName).collect(Collectors.joining(",", "(", ")")); // (aa,bb,cc)
 
//聚合操作
//1.學生總數
Long count = list.stream().collect(Collectors.counting()); // 3
//2.最大年齡 (最小的minBy同理)
Integer maxAge = list.stream().map(Student::getAge).collect(Collectors.maxBy(Integer::compare)).get(); // 20
//3.所有人的年齡
Integer sumAge = list.stream().collect(Collectors.summingInt(Student::getAge)); // 40
//4.平均年齡
Double averageAge = list.stream().collect(Collectors.averagingDouble(Student::getAge)); // 13.333333333333334
// 帶上以上所有方法
DoubleSummaryStatistics statistics = list.stream().collect(Collectors.summarizingDouble(Student::getAge));
System.out.println("count:" + statistics.getCount() + ",max:" + statistics.getMax() + ",sum:" + statistics.getSum() + ",average:" + statistics.getAverage());
 
//分組
Map<Integer, List<Student>> ageMap = list.stream().collect(Collectors.groupingBy(Student::getAge));
//多重分組,先根據類型分再根據年齡分
Map<Integer, Map<Integer, List<Student>>> typeAgeMap = list.stream().collect(Collectors.groupingBy(Student::getType, Collectors.groupingBy(Student::getAge)));
 
//分區
//分成兩部分，一部分大於10歲，一部分小於等於10歲
Map<Boolean, List<Student>> partMap = list.stream().collect(Collectors.partitioningBy(v -> v.getAge() > 10));
 
//規約
Integer allAge = list.stream().map(Student::getAge).collect(Collectors.reducing(Integer::sum)).get(); //40

3.3.2 Collectors.toList() 解析

//toList 源碼
public static <T> Collector<T, ?, List<T>> toList() {
    return new CollectorImpl<>((Supplier<List<T>>) ArrayList::new, List::add,
            (left, right) -> {
                left.addAll(right);
                return left;
            }, CH_ID);
}
 
//爲了更好地理解，我們轉化一下源碼中的lambda表達式
public <T> Collector<T, ?, List<T>> toList() {
    Supplier<List<T>> supplier = () -> new ArrayList();
    BiConsumer<List<T>, T> accumulator = (list, t) -> list.add(t);
    BinaryOperator<List<T>> combiner = (list1, list2) -> {
        list1.addAll(list2);
        return list1;
    };
    Function<List<T>, List<T>> finisher = (list) -> list;
    Set<Collector.Characteristics> characteristics = Collections.unmodifiableSet(EnumSet.of(Collector.Characteristics.IDENTITY_FINISH));
 
    return new Collector<T, List<T>, List<T>>() {
        @Override
        public Supplier supplier() {
            return supplier;
        }
 
        @Override
        public BiConsumer accumulator() {
            return accumulator;
        }
 
        @Override
        public BinaryOperator combiner() {
            return combiner;
        }
 
        @Override
        public Function finisher() {
            return finisher;
        }
 
        @Override
        public Set<Characteristics> characteristics() {
            return characteristics;
        }
    };
 
}

結束語

總之，Stream 的特性可以歸納爲：

不是數據結構
它沒有內部存儲，它只是用操作管道從 source（數據結構、數組、generator function、IO channel）抓取數據。
它也絕不修改自己所封裝的底層數據結構的數據。例如 Stream 的 filter 操作會產生一個不包含被過濾元素的新 Stream，而不是從 source 刪除那些元素。
所有 Stream 的操作必須以 lambda 表達式爲參數
不支持索引訪問
你可以請求第一個元素，但無法請求第二個，第三個，或最後一個。不過請參閱下一項。
很容易生成數組或者 List
惰性化
很多 Stream 操作是向後延遲的，一直到它弄清楚了最後需要多少數據纔會開始。
Intermediate 操作永遠是惰性化的。
並行能力
當一個 Stream 是並行化的，就不需要再寫多線程代碼，所有對它的操作會自動並行進行的。
可以是無限的
- 集合有固定大小，Stream 則不必。limit(n) 和 findFirst() 這類的 short-circuiting 操作可以對無限的 Stream 進行運算並很快完成。

參考文章：

Java 8 stream的詳細用法

Java 8 中的 Streams API 詳解

Java 8 Stream peek 與 map的區別

Java 8 Stream 學習筆記

流的構成

流的使用詳解

具體用法

結束語

Java 8 函數式接口和Lambda學習筆記（二）

Java 泛型學習記錄

Java 8 Stream 學習筆記

Java 8 方法引用學習筆記

Java 8 Lambda學習筆記（一）

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結