1.概述
CDH內嵌Spark版本不支持spark-sql,因爲cloudera在推自己的impala,但是有些場景需要用到Spark-sql時,比如Kylin企業版想要加快構建需要用到SparkSQL,大概的思路就是換jar包,很多資料,千篇一律是要加入hive&hivethriftserver重新編譯源碼再打成jar才能支持,其實我們只需要到官網去把編譯好的spark包下下來,直接替換就好了。
2.安裝包下載
本案例我們用到的CDH5.7集成的Spark是1.6的版本
公網下載地址:http://spark.apache.org/downloads.html
下載操作系統對應的版本:spark-1.6.0-bin-hadoop2.6.tgz
3.替換JAR
1.找到Spark集羣的某節點解壓spark-1.6.0-bin-hadoop2.6.tgz包
[openpyxl@hadoop2 ~]$ tar –zxvf spark-1.6.0-bin-hadoop2.6.tgz
[openpyxl@hadoop2 ~]$ cd spark-1.6.0-bin-hadoop2.6/lib/
[openpyxl@hadoop2 lib]$ ll
total 309964
...
-rw-r-