spark編譯過程與實現

基本配置
配置jdk、scala 、maven




修改
make –distribution.sh 中的
#VERSION=$("$MVN" help:evaluate -Dexpression=project.version 2>/dev/null | grep -v "INFO" | tail -n 1)
#SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\
#    | grep -v "INFO"\
#    | tail -n 1)
#SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\
#    | grep -v "INFO"\
#    | fgrep --count "<id>hive</id>";\
#    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\
#    # because we use "set -o pipefail"
#    echo -n)


以上內容註釋掉（可以加快編譯）
增加以下內容
VERSON=1.3.0  --spark的版本可以修改
SPARK_HADOOP_VERSION=2.6.0-cdh5.4.0  --基於hadoop的版本
SPARK_HIVE=1   --hive 的版本。


執行命令 （根據個人情況填寫參數）
make-distribution.sh --tgz  -Pyarn -Phadoop-2.4 -Dhadoop.verson=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver