大數據IMF傳奇行動絕密課程第85課：基於HDFS的SparkStreaming案例實戰和內幕源碼解密

基於HDFS的SparkStreaming案例實戰和內幕源碼解密

1、Spark Streaming on HDFS實戰
2、Spark Streaming on HDFS源碼解密

hadoop dfs -mkdir /library/SparkStreaming/CheckPoint_Data

remember 函數，把數據保存久一點

ackage com.tom.spark.SparkApps.sparkstreaming;

import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;

import scala.Tuple2;

public class SparkStreamingOnHDFS {

    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        //好處：1、checkpoint 2、工廠
        final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnHDFS").setMaster("hdfs://Master:7077/");
        final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";

        JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {

            public JavaStreamingContext create() {
                // TODO Auto-generated method stub
                return createContext(checkpointDirectory, conf);
            }

        };

        /**
         * 可以從失敗中恢復Driver，不過還需要指定Driver這個進程運行在Cluster，並且在提交應用程序的時候制定--supervise;
         */
        JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);
        /**
         * 第三步：創建Spark Streaming輸入數據來源input Stream:
         * 1、數據輸入來源可以基於File、HDFS、Flume、Kafka、Socket等
         * 2、在這裏我們指定數據來源於網絡Socket端口，Spark Streaming連接上該端口並在運行的時候一直監聽該端口的數據
         *      (當然該端口服務首先必須存在），並且在後續會根據業務需要不斷有數據產生（當然對於Spark Streaming
         *      應用程序的運行而言，有無數據其處理流程都是一樣的）
         * 3、如果經常在每間隔5秒鐘沒有數據的話不斷啓動空的Job其實會造成調度資源的浪費，因爲並沒有數據需要發生計算；所以
         *      實際的企業級生成環境的代碼在具體提交Job前會判斷是否有數據，如果沒有的話就不再提交Job；
         */

        //此處沒有Receiver，SparkStreaming應用程序只是按照時間間隔監控目錄下每個Batch新增的內容，並把新增的內容作爲RDD的數據來源生成原始RDD
        JavaDStream<String> lines = javassc.textFileStream("hdfs://Master:9000/library/SparkStreaming/Data/");
        /**
         * 第四步：接下來就像對於RDD編程一樣基於DStream進行編程，原因是DStream是RDD產生的模板（或者說類），在Spark Streaming具體
         * 發生計算前，其實質是把每個Batch的DStream的操作翻譯成爲對RDD的操作！
         * 
         */
        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>(){ //如果是Scala，由於SAM轉換，所以可以寫成val words = lines.flatMap(_.split(" ")) 

            public Iterable<String> call(String line) throws Exception {
                return Arrays.asList(line.split(" "));
            }
        });

        /**
         * 第4.2步：在單詞拆分的基礎上對每個單詞實例計數爲1，也就是word => (word, 1)
         */
        JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {

            public Tuple2<String, Integer> call(String word) throws Exception {
                // TODO Auto-generated method stub
                return new Tuple2<String, Integer> (word, 1);
            }

        });
     /**
     * 第4.3步：在單詞實例計數爲1基礎上，統計每個單詞在文件中出現的總次數
     */
        JavaPairDStream<String, Integer> wordsCount = pairs.reduceByKey(new Function2<Integer, Integer, Integer>(){
            //對相同的key，進行Value的累加（包括Local和Reducer級別同時Reduce）
            public Integer call(Integer v1, Integer v2) throws Exception {
                // TODO Auto-generated method stub
                return v1 + v2;
            }

        });

        /**
         * 此處的print並不會直接觸發Job的支持，因爲現在的一切都是在Spark Streaming框架的控制之下的，對於SparkStreaming
         * 而言，具體是否觸發真正的Job運行是基於設置的Duration時間間隔的
         * 
         * 注意，Spark Streaming應用程序要想執行具體的Job，對DStream就必須有ouptputstream操作
         * outputstream有很多類型的函數觸發，例如print,saveAsTextFile,saveAsHadoopFiles等，
         * 其中最爲重要的一個方法是foreachRDD，因爲Spark Streaming處理的結果一般會放在Redis、DB、DashBoard
         * 等上面，所以foreachRDD主要就是用來完成這些功能的，而且可以隨意自定義具體數據到底放在哪裏。
         */
        wordsCount.print();


        /**
         * Spark Streaming 執行引擎也就是Driver開始運行，Driver啓動的時候是位於一條新的線程中的，當然其內部有消息循環體，用於
         * 接收應用程序本身或者Executor中的消息，
         */
        javassc.start();
        javassc.awaitTermination();
        javassc.close();


    }

    private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {
        // If you do not see this printed, that means the StreamingContext has been loaded
        // from the new checkpoint
        System.out.println("Creating new context");


        // Create the context with a 5 second batch size
        JavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(5));
        ssc.checkpoint(checkpointDirectory);

        return ssc;
    }
}