Spark2 的序列化（JavaSerializer/KryoSerializer）

環境

JDK   1.8.0  
Scala 2.11.8  
Spark 2.1.2

簡單說明

• 官方文檔: Data Serialization
• spark 默認的序列化器是 JavaSerializer，能夠支持所有對象自動的序列化，但是效率比較低。
• KryoSerializer 比 JavaSerializer 效率高很多，但是不支持所有對象的序列化（比如？？），在使用時需要手動註冊自定義類。如果不註冊，性能比 JavaSerializer 更糟糕。
• 可以配置 spark.kryo.registrationRequired=true 來檢測自定義類是否註冊

示例

• 相關配置項

spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryo.registrationRequired=true

• Java 版 WordCount 示例

import dw.common.util.HdfsHelper;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import scala.Tuple2;
import java.util.Arrays;

public class WordCount {
    public static void main(String[] args) throws ClassNotFoundException {
        String wordFile = "/user/qhy/input/wordcount/idea.txt";
        SparkConf sparkConf = new SparkConf();
        sparkConf.registerKryoClasses(new Class<?>[]{
                java.lang.Class.class,
                Object[].class,
                Class.forName("scala.reflect.ClassTag$$anon$1")
        });
        SparkSession spark = SparkSession.builder()
                .appName("WordCount")
                .config(sparkConf)
                .config("spark.hadoop.mapreduce.output.fileoutputformat.compress", false)
                .getOrCreate();
        JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
        JavaRDD<String> hdfstext = jsc.textFile(wordFile);
        // 切分
        JavaRDD<String> words = hdfstext.flatMap(line -> Arrays.asList(line.split("\\s+")).iterator());
        // 單次計 1
        JavaPairRDD<String, Integer> pairs = words.mapToPair(word -> new Tuple2<>(word, 1));
        // 累加 1
        JavaPairRDD<String, Integer> wordCounts = pairs.reduceByKey((v1, v2) -> v1 + v2)
                                                        .repartition(1);        
        String outDir = "/user/qhy/output/wordcount";
        HdfsHelper.deleteDir(jsc, outDir);
        wordCounts.saveAsTextFile(outDir);  // 保存結果到 HDFS
        jsc.close();
    }
}

本文出自 walker snapshot