spark-2.1.1 源碼編譯
一. 下載必要的組件
a) 下載spark源碼
(當前最新的穩定版是2.1.1,直接git源碼)
地址：git clone https://github.com/apache/spark.git
b) 下載maven
地址： http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz(下載最新版即可，本文中用的是3.3.9)
c) 下載scala
地址： http://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz(下載最新版即可，本文中用的是2.12.1)
d) 下載jdk
地址：這個比較容易找，大家自己去oracle官網找着，jdk1.6 及以上（本文用的是1.8.0_91）
二. 設置環境變量
sudo vi /etc/profile
進入vi編輯器後，參考下面的內容設置環境變量：(軟件解壓保存目錄最好放在home下我這裏示例隨意放置的)
export JAVA_HOME=/root/projects/opensource/jdk1.8.0_91
export JAVA_BIN=/root/projects/opensource/jdk1.8.0_91/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
M2_HOME=/root/projects/opensource/apache-maven-3.3.9
export M2_HOME
PATH=$PATH:$M2_HOME/bin
export PATH
export ANT_HOME=/root/projects/opensource/apache-ant-1.9.7
export SCALA_HOME=/root/projects/opensource/scala-2.12.1
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/root/projects/opensource/spark-src
驗證maven，輸入mvn -version，正常應該反饋以下類似信息：
三. 用maven安裝spark(mvn編譯過程中有些文件需要翻牆，翻牆軟件可用藍燈或ShadowsocksR這些)
1. 解壓軟件包 tar -zxvf spark-2.1.1.tgz -C /opt/modules/bigdata/spark 即 $SPARK_HOME=/opt/modules/bigdata/spark/spark-2.1.1
2. cd $SPARK_HOME
3.防止maven內溢出:export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
4.執行maven安裝./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.1 -Phive -Phive-thriftserver -Pyarn -DskipTests clean package打包:./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Dhadoop.version=2.7.1 -Phive -Phive-thriftserver -Pmesos -Pyarn