Linux64位操作系統(CentOS6.6)上如何編譯spark1.3

1.在官網下載1.3.0源碼後執行如下命令:

./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver

2.參數說明:

  • --tgz 生成部署包;

  • --skip-java-test 濾過測試階段;

  • --with-tachyon 感覺tachyon是趨勢,所以加上tachyon的支持;

  • -Dhadoop.version 指定hadoop的版本,默認爲1.0.4;

  • -Djava.version 指定java版本,默認是1.6;

  • -Dprotobuf.version 指定protobuf的版本,默認是2.4.1;這裏指定是因爲hadoop使用的2.5.0,不修改的話搭配的時候會出問題;

  • -Pyarn -Phive -Pthriftserver 分別加入yarn、hive的支持。

3.一個多小時後出現BUILD SUCCESS,即編譯成功,可在spark-1.3.0文件夾中找到編譯的文件。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章