二次排序具體實現步驟： 按照Ordered和serrializable接口實現自定義排序key 將要進行二次排序的文件假造進來生成<key,value>類型的RDD 使用sortbykey基於自定義的key進行二次排序 去除掉排序的key
park中對鍵值對RDD(pairRDD)基於鍵的聚合函數中，都是通過combineByKey()實現的。 它可以讓用戶返回與輸入數據類型不同的返回值（可以自己配置返回的參數，返回的類型） 首先理解：combineByKey是一個聚合
Shuffle 一般被翻譯爲數據混洗，是類 MapReduce 分佈式計算框架獨有的機制，也是這類分佈式計算框架最重要的執行機制。本課時主要從兩個層面講解 Shuffle，主要分爲： 邏輯層面、 物理層面。 邏輯層面主要從 RDD 的血統
Runnable/Callable 入門級區別：Runnable無返回值，Callable線程執行完有返回值。 深入源碼後面會詳解。 Runnable示例 import java.util.concurrent.{Executors,
我們知道，Spark + Tachyon 可以解決 Spark 在使用過程中的一些問題，可以總結爲 數據共享 和 GC 等問題。 但是呢，Tachyon 在今年已經更名爲 Alluxio，並且其訪問schema也從tachyon
map(func)：返回一個新的RDD，該RDD由每一個輸入元素經過func函數轉換後組成。 mapPartitions(func)：類似於map,但獨立地在RDD的每一個分片上運行，因此在類型爲T的RD上運行時，func的函數類型必須是
package actor import akka.actor.{Actor, ActorSystem, Props} /** * 當繼承actor後，就是一個Actor,核心方法receive 方法重寫 */ class S
