解決CDH內嵌Spark版本不支持spark-sql的方案

1.概述


CDH內嵌Spark版本不支持spark-sql,因爲cloudera在推自己的impala但是有些場景需要用到Spark-sql時,比如Kylin企業版想要加快構建需要用到SparkSQL大概的思路就是換jar包,很多資料,千篇一律是要加入hive&hivethriftserver重新編譯源碼再打成jar才能支持,其實我們只需要到官網去把編譯好的spark包下下來,直接替換就好了

2.安裝包下載

本案例我們用到的CDH5.7集成的Spark是1.6的版本
公網下載地址:http://spark.apache.org/downloads.html
下載操作系統對應的版本:spark-1.6.0-bin-hadoop2.6.tgz

3.替換JAR

1.找到Spark集羣的某節點解壓spark-1.6.0-bin-hadoop2.6.tgz包

[openpyxl@hadoop2 ~]$ tar –zxvf spark-1.6.0-bin-hadoop2.6.tgz
[openpyxl@hadoop2 ~]$ cd spark-1.6.0-bin-hadoop2.6/lib/
[openpyxl@hadoop2 lib]$ ll
total 309964
...
-rw-r-
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章