oozie的web配置

oozie的概念：
hadoop的工作流系統。
三類job：workflow —> coodr —> bundle
可以整合的作業：hive、shell、java、mr、spark、pig等。
workflow最少需要兩個文件：workflow.xml 、 job.properties
workflow是所有的action構成的一個有向無環圖(DAG)。一個wf中需要一個start、end和一個或多個action。
oozie本身沒有運行任何作業功能，只有將其串成流的功能，運行將有其內置客戶端提交運行。
oozie啓動一般需要將historyserver啓動。
fork join：
失敗依賴於historyserver來控制失敗：

下載oozie和ext-2.2.zip
1.上傳至/bigdata下，解壓至/usr/local
tar -zxvf /bigdata/oozie-4.1.0-cdh5.13.2.tar.gz -C /usr/local/
2.配置環境變量
export OOZIE_HOME=/usr/local/oozie-4.1.0-cdh5.13.2
export PATH=$PATH:$OOZIE_HOME/bin
3.刷新環境變量
source /etc/profile
4.設置Oozie使用的數據庫
這裏提到的數據庫是關係型數據庫，用來存儲Oozie的數據。Oozie自帶一個Derby，
不過Derby只能拿來實驗的，這裏我選擇mysql作爲Oozie的數據庫
mysql -uroot -p123456
create database oozie; ###可以不用創建oozie會自動生成
mysql>create user ‘oozie’ identified by ‘oozie’
mysql>grant all privileges on oozie.* to ‘oozie’@‘localhost’ identified by ‘oozie’;
mysql>grant all privileges on oozie.* to ‘oozie’@’%’ identified by ‘oozie’;
mysql>flush privileges;
5.編輯 oozie-site.xml 配置mysql的連接屬性
rm -rf /usr/local/oozie-4.1.0-cdh5.13.2/conf/oozie-site.xml
將準備好的oozie-site.xml文件上傳至/usr/local/oozie-4.1.0-cdh5.13.2/conf
或者配置成

<configuration>
        <property>
                <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
                <value>*=/root/bigdata/hadoop-2.6.4/etc/hadoop</value>
        </property>
        <property>
                <name>oozie.service.JPAService.create.db.schema</name>
                <value>true</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.driver</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.url</name>
                <value>jdbc:mysql://zjy2:3306/oozie?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.username</name>
                <value>oozie</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.password</name>
                <value>oozie</value>
        </property>
        <property>
                <name>oozie.processing.timezone</name>
                <value>GMT+0800</value>
        </property>
</configuration>

6.可以在/usr/local/oozie-4.1.0-cdh5.13.2/conf/oozie-env.sh中進行參數修改，比如修改端口號，默認端口號爲11000.

7.oozie根目錄創建libext文件夾，複製mysql的driver壓縮包到libext文件夾中,也可以做一個軟連接(libext是lib的擴展目錄，好多軟件都有)
mkdir /usr/local/oozie-4.1.0-cdh5.13.2/libext
cp /usr/local/hive-1.1.0-cdh5.13.2/lib/mysql-connector-java-5.1.32.jar /usr/local/oozie-4.1.0-cdh5.13.2/libext
8.創建oozie需要的表結構
命令：ooziedb.sh create -sqlfile oozie.sql -run
9.使用mysql客戶端查看是否生成oozie的數據庫和表
10.設置hadoop代理用戶。hadoop.proxyuser.root.hosts&hadoop.proxyuser.root.groups
vi /usr/local/hadoop-2.6.0-cdh5.13.2/etc/hadoop/core-site.xml

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

分發給子節點
11.
執行命令oozie-setup.sh sharelib create -fs hdfs://zjy:9000 -locallib /usr/local/zjy/oozie/oozie-sharelib-4.1.0-cdh5.13.2-yarn.tar.gz
12.創建war文件(需安裝unzip和zip yum-y install unzip;yum -y install zip)
執行addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.4 $HADOOP_HOME -jars $OOZIE_HOME/libext/mysql-connector-java-5.1.32.jar -extjs /bigdata/ext-2.2.zip
或者
（下面的好用一些）
將hadoop相關包，mysql相關包和ext壓縮包放到libext文件夾中，運行oozie-setup.sh prepare-war也可以創建war文件
13.運行：oozied.sh run 或者 oozied.sh start(前者在前端運行，後者在後臺運行)
14.jps 看見bootstrap說明oozie啓動起來了###使用 oozied.sh stop 停止服務

15.查看web界面&查看狀態oozie admin -oozie http://zjy2:11000/oozie -status ##顯示normal屬於正常

16.web頁面查看地址：http://hadoop01:11000/oozie