Oozie 與 Yarn 協同工作

記錄一下Oozie針對於Yarn的安裝和配置流程。本文Oozie的版本爲3.3.2,Hadoop爲2.2。

主要步驟:

1、下載oozie-3.3.2.tar.gz,然後執行命令“bin/mkdistro.sh -DskipTests”進行compile:


2、將編譯生成的oozie-3.3.2工程copy到$OOZIE_HOME

3、在$OOZIE_HOME目錄下創建目錄libext,並將Hadoop相應的jar包、ext-2.2.zip拷貝到其下

4、在$HADOOP_HOME/conf/core-site.xml裏添加內容:


5、在$OOZIE_HOME/conf/oozie-site.xml裏添加內容:

6、執行oozie-setup.sh:

bin/oozie-setup.sh -hadoop 2.2.0 /home/hadoop-2.2.0 -extjs/home/oozie-3.3.2/libext/ext-2.2.zip

執行成功後,會有如下提示:

7、執行“bin/oozied.sh run”啓動Oozie

8、更改Oozie job的job.properties文件:

主要的更改是:將 jobtracker 地址和端口改爲 'yarn.resourcemanager.address ' 項的值。

比如:

- 對於hadoop-1.x:jobTracker=JT_HOST:9001

- 對於hadoop-2.x:jobTracker=RM_HOST:18040

9、提交Oozie job

命令:

執行成功後,Oozie web console上的信息:

Yarn web console上的信息:


以上是主要步驟,當然安裝配置過程中也碰到了各種問題,比如”NoClassDefFoundError“、”java.net.ConnectException“、”KerberosName$NoMatchingRule“、”Type mismatch in key from map“等。我們可以根據具體異常逐一解決即可。












發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章