hive使用tez環境配置

Tez引擎包下載:

https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz

1:將下載的安裝包解壓

$ pwd

/opt/ubd/core

$tar -zxvf apache-tez-0.8.4-bin.tar.gz

重命令tez 文件夾

$mv apache-tez-0.8.4-bin tez

2:將tez上傳到hdfs目錄下,並修改tez配置

hdfs dfs -mkdir /tez/

hdfs dfs -put tez/share/tez-0.8.4.tar.gz /tez/

修改本地tez文件

vi  tez/conf/tez-site.xml

3:配置環境變量,並複製tez-site.xml到hadoop和hive的配置下

export TEZ_CONF_DIR=/opt/tez/conf
export TEZ_HOME=/opt/tez
export TEZ_JARS=/usr/local/tez/client
export HADOOP_CLASSPATH=${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*:`hadoop classpath`

4:登陸hive測試tez引擎

hive (default)> set hive.execution.engine=tez;

然後跑一段sql,如果成功就可以了

5:可能的問題

有可能碰到kyro的問題,將kyro的包放到tez家目錄的lib下

還有記得查看自己 的環境變量是否準確

如果還繼續報,就把這個jar包 改bak 一下

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章