記錄一下Oozie針對於Yarn的安裝和配置流程。本文Oozie的版本爲3.3.2,Hadoop爲2.2。
主要步驟:
1、下載oozie-3.3.2.tar.gz,然後執行命令“bin/mkdistro.sh -DskipTests”進行compile:
2、將編譯生成的oozie-3.3.2工程copy到$OOZIE_HOME
3、在$OOZIE_HOME目錄下創建目錄libext,並將Hadoop相應的jar包、ext-2.2.zip拷貝到其下
4、在$HADOOP_HOME/conf/core-site.xml裏添加內容:
5、在$OOZIE_HOME/conf/oozie-site.xml裏添加內容:
6、執行oozie-setup.sh:
bin/oozie-setup.sh -hadoop 2.2.0 /home/hadoop-2.2.0 -extjs/home/oozie-3.3.2/libext/ext-2.2.zip
執行成功後,會有如下提示:
7、執行“bin/oozied.sh run”啓動Oozie
8、更改Oozie job的job.properties文件:
主要的更改是:將 jobtracker 地址和端口改爲 'yarn.resourcemanager.address ' 項的值。
比如:
- 對於hadoop-1.x:jobTracker=JT_HOST:9001
- 對於hadoop-2.x:jobTracker=RM_HOST:18040
9、提交Oozie job
命令:
執行成功後,Oozie web console上的信息:
Yarn web console上的信息:
以上是主要步驟,當然安裝配置過程中也碰到了各種問題,比如”NoClassDefFoundError“、”java.net.ConnectException“、”KerberosName$NoMatchingRule“、”Type mismatch in key from map“等。我們可以根據具體異常逐一解決即可。