hive on tez+tez-ui配置和遇到的兼容問題與踩坑記錄

框架	版本號
Hadoop	3.1.3
Hive	3.1.2
Tez	0.10.1

需要資料包的可以關注我微信公衆號(最底有二維碼)，回覆關鍵字"tez"領取

tez是一個Hive的運行引擎，性能優於MR。爲什麼優於MR呢？看下圖。

用Hive直接編寫MR程序，假設有四個有依賴關係的MR作業，
上圖中，綠色是ReduceTask，雲狀表示寫屏蔽，需要將中間結果持久化寫到HDFS。
Tez可以將多個有依賴的作業轉換爲一個作業，這樣只需寫一次HDFS，且中間節點較少，從而大大提升作業的計算性能。

1、編譯Tez0.10.1過程：遵循官網流程

1.下載tez的src.tar.gz源碼包，

附官方下載鏈接 【點擊鏈接】

下載之後上傳到linux系統中，並且解壓出來

新版的tez0.10.1需要在github下載，附鏈接 https://github.com/apache/tez

2.需要在pom.xml中更改hadoop.version屬性的值，以匹配所使用的hadoop分支的版本。我這裏是Apache Hadoop 3.1.3

3.還有就是guava的版本，這個插件的版本也是至關重要，希望大家提前修改，把這個問題扼殺在搖籃裏，我們可以看到hadoop 3.1.3使用的guava版本是27.0-jre，而tez默認的是11.0.2，所以一定要修改，否則後期裝好tez也不能用。

[later@bigdata101 lib]# cd /opt/module/hadoop-3.1.3/share/hadoop/common/lib/

[later@bigdata101 lib]# ls |grep guava

guava-27.0-jre.jar
listenablefuture-9999.0-empty-to-avoid-conflict-with-guava.jar

4.還有就是在tez編譯時，tez-ui這個模塊是耗時耗力不討好，而且沒啥用，所以我們可以直接跳過

5.這一步結束後就是開始編譯了首先要有編譯環境是必須的，所以要安裝maven，安裝git，這兩塊參考我之前的文章https://blog.csdn.net/weixin_38586230/article/details/105725346

安裝編譯工具

yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

6.先安裝protobuf（官網讓安裝2.5.0版本的），下載鏈接https://github.com/protocolbuffers/protobuf/tags

下好源碼包後，解壓，並且編譯protobuf 2.5.0

./configure
make install

7.開始編譯Tez（

mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

8.編譯成功後，包會在apache-tez-0.10.0-src/tez-dist/target/目錄下，我們需要的是這連兩個

2、爲Hive配置Tez了

1.將tez安裝包拷貝到集羣，並解壓tar包，注意解壓的是minimal

mkdir /opt/module/tez

tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez

2.上傳tez依賴到HDFS

上傳的是不帶minimal的那個,對應的tez配置爲下面，下面有tez.xml的配置

<property>
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
</property>

hadoop fs -mkdir /tez（集羣創建/tez路徑，然後再上傳，注意路徑）

hadoop fs -put /opt/software/tez-0.10.1-SNAPSHOT.tar.gz /tez

3.新建tez-site.xml在$HADOOP_HOME/etc/hadoop/路徑下（注意，不要放在hive/conf/目錄下，不生效），記得把tez-site.xml同步到集羣其他機器。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 注意你的路徑以及文件名是否和我的一樣 -->
<property>
        <name>tez.lib.uris</name>
    <value>${fs.defaultFS}/tez/tez-0.10.1-SNAPSHOT.tar.gz</value>
</property>
<property>
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
</property>
<property>
     <name>tez.am.resource.memory.mb</name>
     <value>1024</value>
</property>
<property>
     <name>tez.am.resource.cpu.vcores</name>
     <value>1</value>
</property>
<property>
     <name>tez.container.max.java.heap.fraction</name>
     <value>0.4</value>
</property>
<property>
     <name>tez.task.resource.memory.mb</name>
     <value>1024</value>
</property>
<property>
     <name>tez.task.resource.cpu.vcores</name>
     <value>1</value>
</property>
</configuration>

4.修改Hadoop環境變量

## 編輯hadoop-env.sh
[later@bigdat101 software]$ vim $HADOOP_HOME/etc/hadoop/shellprofile.d/tez.sh

添加Tez的Jar包相關信息，如果最後沒成功，把這個配置寫example.sh中也可

hadoop_add_profile tez
function _tez_hadoop_classpath
{
    hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" after
    hadoop_add_classpath "/opt/module/tez/*" after
    hadoop_add_classpath "/opt/module/tez/lib/*" after
}

5.修改hive的計算引擎，

vim $HIVE_HOME/conf/hive-site.xml 

添加以下內容

<property>
	<name>hive.execution.engine</name>
	<value>tez</value>
</property>
<property>
	<name>hive.tez.container.size</name>
	<value>1024</value>
</property>

6.在hive-env.sh中添加tez的路徑

export TEZ_HOME=/opt/module/tez    #是你的tez的解壓目錄
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export HIVE_AUX_JARS_PATH=/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS

注意你的jar包路徑是不是和我的一樣，需要編譯lzo的看我另一篇博客安裝編譯lzo，附鏈接https://blog.csdn.net/weixin_38586230/article/details/106035660

7. 解決日誌Jar包衝突,刪除tez/lib下的 slf4j-log4j12-1.7.10.jar

rm /opt/module/tez/lib/slf4j-log4j12-1.7.10.jar

8.到此爲止，hive的配置算是搞定了，我們先來跑一下官方給的測試案例，需要大家在本地先隨便寫個文件，然後上傳到hdfs上，我這裏寫了個word.txt，上傳到了hdfs上

把這個文件上傳到hdfs

hadoop fs -put word.txt /tez/

開始測試wordcount,注意你的jar包路徑

/opt/module/hadoop-3.1.3/bin/yarn jar /opt/module/tez/tez-examples-0.10.1-SNAPSHOT.jar orderedwordcount /tez/word.txt /tez/output/

測試結果看你的 /tez/output/ 輸出結果

9.到這裏就再開始測試hive中能不能使用tez引擎

1）啓動Hive
[later@bigdata101 hive]$ hive
2）創建表
hive (default)> create table student(
	id int,
	name string);
3）向表中插入數據
hive (default)> insert into student values(1,"zhangsan");
如果沒有報錯就表示成功了

這裏記得設置一下

hive (default)> set mapreduce.framework.name = yarn

不然踩坑一就來了

踩坑一

For more detailed output, check the application tracking page: http://bigdata101:8088/cluster/app/application_1589003644173_0009 Then click on links to logs of each attempt.
. Failing the application.
        at org.apache.tez.client.TezClientUtils.getAMProxy(TezClientUtils.java:947) ~[tez-api-0.10.1-SNAPSHOT.jar:0.10.1-SNAPSHOT]
        at org.apache.tez.client.TezClient.getAMProxy(TezClient.java:1060) ~[tez-api-0.10.1-SNAPSHOT.jar:0.10.1-SNAPSHOT]
        at org.apache.tez.client.TezClient.stop(TezClient.java:743) ~[tez-api-0.10.1-SNAPSHOT.jar:0.10.1-SNAPSHOT]
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.closeAndIgnoreExceptions(TezSessionState.java:480) ~[hive-exec-3.1.2.jar:3.1.2]
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.startSessionAndContainers(TezSessionState.java:473) ~[hive-exec-3.1.2.jar:3.1.2]
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.access$100(TezSessionState.java:101) ~[hive-exec-3.1.2.jar:3.1.2]
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$1.call(TezSessionState.java:376) ~[hive-exec-3.1.2.jar:3.1.2]
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState$1.call(TezSessionState.java:371) ~[hive-exec-3.1.2.jar:3.1.2]
        at java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_211]
        at java.lang.Thread.run(Thread.java:748) [?:1.8.0_211]
2020-05-09T06:10:41,600  INFO [Tez session start thread] client.TezClient: Could not connect to AM, killing session via YARN, sessionName=HIVE-f7d9bc1d-65aa-4450-a740-41245bc712d2, applicationId=application_1589003644173_0009
2020-05-09T06:10:41,605 DEBUG [IPC Parameter Sending Thread #0] ipc.Client: IPC Client (321772459) connection to bigdata101/192.168.1.96:8032 from later sending #123 org.apache.hadoop.yarn.api.ApplicationClientProtocolPB.forceKillApplication
2020-05-09T06:10:41,607 DEBUG [IPC Client (321772459) connection to bigdata101/192.168.1.96:8032 from later] ipc.Client: IPC Client (321772459) connection to bigdata101/192.168.1.96:8032 from later got value #123

查資料的答案是這樣解釋的

踩坑二

Application application_1589119407952_0003 failed 2 times due to AM Container for appattempt_1589119407952_0003_000002 exited with exitCode: -103
Failing this attempt.Diagnostics: [2020-05-10 22:06:09.140]Container [pid=57149,containerID=container_e14_1589119407952_0003_02_000001] is running 759679488B beyond the 'VIRTUAL' memory limit. Current usage: 140.9 MB of 1 GB physical memory used; 2.8 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_e14_1589119407952_0003_02_000001 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 57149 57147 57149 57149 (bash) 0 2 118079488 368 /bin/bash -c /opt/module/jdk1.8.0_211/bin/java -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/tmp/nm-local-dir/usercache/later/appcache/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001/tmp -server -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx1024m -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001 -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel='' org.apache.tez.dag.app.DAGAppMaster --session 1>/opt/module/hadoop-3.1.3/logs/userlogs/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001/stdout 2>/opt/module/hadoop-3.1.3/logs/userlogs/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001/stderr
|- 57201 57149 57149 57149 (java) 871 158 2896457728 35706 /opt/module/jdk1.8.0_211/bin/java -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/tmp/nm-local-dir/usercache/later/appcache/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001/tmp -server -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx1024m -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1589119407952_0003/container_e14_1589119407952_0003_02_000001 -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel= org.apache.tez.dag.app.DAGAppMaster --session
[2020-05-10 22:06:09.222]Container killed on request. Exit code is 143
[2020-05-10 22:06:09.229]Container exited with a non-zero exit code 143.
For more detailed output, check the application tracking page: http://bigdata101:8088/cluster/app/application_1589119407952_0003 Then click on links to logs of each attempt.
. Failing the application.

這個錯誤還是比較 明細的，就是說tez檢查內存不夠了，這個解決辦法兩個，

關閉虛擬內存檢查

（1）關掉虛擬內存檢查，修改yarn-site.xml

yarn.nodemanager.vmem-check-enabled false

（2）修改後一定要分發，並重新啓動hadoop集羣。

把內存調大（hive-site.xml）

踩坑三

tez跑任務報錯：

java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2570)
at java.lang.Class.getMethod0(Class.java:2813)
at java.lang.Class.getMethod(Class.java:1663)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.(ProgramDriver.java:59)
at org.apache.hadoop.util.ProgramDriver.addClass(ProgramDriver.java:103)
at org.apache.tez.examples.ExampleDriver.main(ExampleDriver.java:47)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration

看起來是告訴我配置什麼的找不到，那不就是相當於意味着我的tez配置有問題啊，所以我把tez-site.xml放到了$HADOOP_HOME/etc/hadoop/下，以前是放在hive/conf/目錄下不生效

至此可以愉快的玩耍了hive on tez

附加：tez-ui 配置

首先需要配置tomcat

1.解壓

tar -zxvf apache-tomcat-8.5.54.tar.gz -C xxx

2.配置文件修改

在conf目錄下server.xml可以修改端口號（我改成了8999）
pwd
/apache-tomcat-8.5.54/conf/server.xml

將tez-ui部署在tomcat

#在webapps下創建tez-ui目錄
mkdir /opt/module/apache-tomcat-8.5.54/webapps/tez-ui
#進入文件
cd  /opt/module/apache-tomcat-8.5.54/webapps/tez-ui
#解壓war包到上面地址
unzip tez-ui-0.10.1.war

#編輯配置文件
vim config/configs.env

配置timelineserver

## 在這個下面(hadoop的配置文件)
cd hadoop/etc/hadoop
## 在這個裏面添加
vim yarn-site.xml

## 主要修改（和上面端口號對應）
yarn.timeline-service.webapp.address

<!-- conf timeline server -->
   <property>
        <name>yarn.timeline-service.enabled</name>
        <value>true</value>
   </property>
   <property>
        <name>yarn.timeline-service.hostname</name>
        <value>master</value>
   </property>
   <property>
        <name>yarn.timeline-service.http-cross-origin.enabled</name>
        <value>true</value>
   </property>
   <property>
        <name> yarn.resourcemanager.system-metrics-publisher.enabled</name>
        <value>true</value>
   </property>
   <property>
        <name>yarn.timeline-service.generic-application-history.enabled</name>
        <value>true</value>
   </property>
   <property>
        <description>Address for the Timeline server to start the RPC server.</description>
        <name>yarn.timeline-service.address</name>
        <value>master:10201</value>
   </property>
   <property>
        <description>The http address of the Timeline service web application.</description>
        <name>yarn.timeline-service.webapp.address</name>
        <value>master:8998</value>
   </property>
   <property>
        <description>The https address of the Timeline service web application.</description>
        <name>yarn.timeline-service.webapp.https.address</name>
        <value>master:2191</value>
   </property>
   <property>
        <name>yarn.timeline-service.handler-thread-count</name>
        <value>24</value>
   </property>

如果出現這種錯誤，yarn-site.xml添加一個配置

## 設置leveldb timeline存儲路徑及存儲文件名，默認爲 ${hadoop.tmp.dir}/yarn/timeline
<property>
     <name>yarn.timeline-service.leveldb-timeline-store.path</name>
     <value>${hadoop.tmp.dir}/yarn/timeline</value>
</property>

配置介紹

參數	解釋
yarn.timeline-service.enabled	該參數用於決定是否開啓或關閉timeline service，如果開啓(true)，應用程序就會通過TimelineClient庫將相關entities和events發給Timeline server。默認爲false.
yarn.resourcemanager.system-metrics-publisher.enabled	該參數用於決定是否將yarn metrics通過RM發佈到timeline server上，默認false.
yarn.timeline-service.generic-application-history.enabled	是否允許client通過 timeline history-service查詢一些generic data.如果不開啓此參數，那麼應用程序相關的執行信息數據只能從RM獲得. 默認false.
yarn.timeline-service.store-class	指定timeline存儲類的類名，默認爲"org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore"
yarn.timeline-service.leveldb-timeline-store.path	設置leveldb timeline存儲路徑及存儲文件名，默認爲 ${hadoop.tmp.dir}/yarn/timeline
yarn.timeline-service.leveldb-timeline-store.ttl-interval-ms	leveldb timeline文件的存儲週期，時間單位爲milliseconds，默認300000，超時即刪除
yarn.timeline-service.leveldb-timeline-store.read-cache-size	以字節方式存儲 leveldb timeline的非壓縮塊的讀緩存的大小，默認設置爲104857600
yarn.timeline-service.leveldb-timeline-store.start-time-read-cache-size	用於設置存儲最近從leveldb timeline中讀取entities的起始時間的緩存大小，默認10000
yarn.timeline-service.leveldb-timeline-store.start-time-write-cache-size	用於設置存儲最近往leveldb timeline中寫入entities的起始時間的緩存大小，默認10000
yarn.timeline-service.recovery.enabled	默認false
yarn.timeline-service.hostname	爲timeline service Apllication配置主機名，默認0.0.0.0
yarn.timeline-service.address	設置timeline server用於啓動RPC服務的地址，默認 ${yarn.timeline-service.hostname}:10200
yarn.timeline-service.webapp.address	timeline service web應用程序的http地址，默認 ${yarn.timeline-service.hostname}:8188
yarn.timeline-service.webapp.https.address	timeline service web應用程序的https地址，默認 ${yarn.timeline-service.hostname}:8190
yarn.timeline-service.bind-host	host timeline server實際綁定的地址，如果設置了該參數，webAPP和RPC服務都將綁定該地址，而對應的端口號分別由 yarn.timeline-service.address和yarn.timeline-service.webapp.address指定。將該參數設置爲0.0.0.0，將會監聽到所有的接口，是非常有用的。
yarn.timeline-service.http-cross-origin.enabled	是否啓動多源web服務(cross-origin).默認false
yarn.timeline-service.http-cross-origin.allowed-origins	逗號分隔的一組源，這是在需要cross-origin (CORS)的情況設置的，允許通配符()和多種模式，默認通配符
yarn.timeline-service.http-cross-origin.allowed-methods	由逗號分隔的多種方法，這是在需要cross-origin (CORS)的情況設置的，默認 GET,POST,HEAD
yarn.timeline-service.http-cross-origin.allowed-headers	逗號分隔的一組headers，這是在需要cross-origin (CORS)的情況設置的， 默認X-Requested-With,Content-Type,Accept,Origin
yarn.timeline-service.http-cross-origin.max-age	一個預執行的請求可以被緩存的時間，這是在需要cross-origin (CORS)的情況設置的，默認1800

tez-site.xml配置添加

  <!--Configuring Tez to use YARN Timeline-->
    <property>
        <name>tez.history.logging.service.class</name>
        <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    </property>
    <property>
        <name>tez.tez-ui.history-url.base</name>
        <value>bigdata101:8999/tez-ui/</value>
    </property>

啓動

##1.hadoop
##2.timelineserver
yarn-daemons.sh start timelineserver
## 或者
yarn timelineserver
##3.tomcat
apache-tomcat-8.5.31/bin/startup.sh

訪問tez-ui界面或者是在Yarn All Applications的web頁面具體到某一任務點擊進去也可到tez-ui界面

http://bigdata101:8999/tez-ui/
http://bigdata101:8088/

需要這個所有的包的可以關注我微信公衆號(下面)，回覆關鍵字"tez"領取

微信公衆號：王了個博
人要去的地方，除了遠方，還有未來
歡迎關注我，一起學習，一起進步!