spark1.2源碼編譯

爲什麼要編譯源碼呢?要搞hive on spark。。。


1.CHD不好用,缺jar包啊

2.hive1.1的 pom文件寫了只支持spark1.2

3.Apache版本的部署包有-Phive編譯,不能用


簡單粗暴的說


下載源碼包開始編譯:

1.使用這個命令:

mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package

官網只支持參數hadoop版本到2.4,想編譯其他版本 改pom文件,加進去就好了

編譯完之後是是沒有部署包的,要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替換到 之前解壓的Apache版本的lib目錄下

2.上步做完還是不能用。。。報錯。。呵呵

3.恩。。在編譯完的目錄內再使用這個命令編譯一遍

./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"

4.編譯完之後的目錄下會有個tar包,拿出來重新解壓

5.

./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-

測試成功了,服務也開啓了。。。。

接下來hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

附個我自己編譯完的包~

鏈接: https://pan.baidu.com/s/1qXH0Eh2 密碼: 7x2h

發佈了25 篇原創文章 · 獲贊 5 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章