oozie的web配置

oozie的概念：
hadoop的工作流系统。
三类job：workflow —> coodr —> bundle
可以整合的作业：hive、shell、java、mr、spark、pig等。
workflow最少需要两个文件：workflow.xml 、 job.properties
workflow是所有的action构成的一个有向无环图(DAG)。一个wf中需要一个start、end和一个或多个action。
oozie本身没有运行任何作业功能，只有将其串成流的功能，运行将有其内置客户端提交运行。
oozie启动一般需要将historyserver启动。
fork join：
失败依赖于historyserver来控制失败：

下载oozie和ext-2.2.zip
1.上传至/bigdata下，解压至/usr/local
tar -zxvf /bigdata/oozie-4.1.0-cdh5.13.2.tar.gz -C /usr/local/
2.配置环境变量
export OOZIE_HOME=/usr/local/oozie-4.1.0-cdh5.13.2
export PATH=$PATH:$OOZIE_HOME/bin
3.刷新环境变量
source /etc/profile
4.设置Oozie使用的数据库
这里提到的数据库是关系型数据库，用来存储Oozie的数据。Oozie自带一个Derby，
不过Derby只能拿来实验的，这里我选择mysql作为Oozie的数据库
mysql -uroot -p123456
create database oozie; ###可以不用创建oozie会自动生成
mysql>create user ‘oozie’ identified by ‘oozie’
mysql>grant all privileges on oozie.* to ‘oozie’@‘localhost’ identified by ‘oozie’;
mysql>grant all privileges on oozie.* to ‘oozie’@’%’ identified by ‘oozie’;
mysql>flush privileges;
5.编辑 oozie-site.xml 配置mysql的连接属性
rm -rf /usr/local/oozie-4.1.0-cdh5.13.2/conf/oozie-site.xml
将准备好的oozie-site.xml文件上传至/usr/local/oozie-4.1.0-cdh5.13.2/conf
或者配置成

<configuration>
        <property>
                <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
                <value>*=/root/bigdata/hadoop-2.6.4/etc/hadoop</value>
        </property>
        <property>
                <name>oozie.service.JPAService.create.db.schema</name>
                <value>true</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.driver</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.url</name>
                <value>jdbc:mysql://zjy2:3306/oozie?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.username</name>
                <value>oozie</value>
        </property>
        <property>
                <name>oozie.service.JPAService.jdbc.password</name>
                <value>oozie</value>
        </property>
        <property>
                <name>oozie.processing.timezone</name>
                <value>GMT+0800</value>
        </property>
</configuration>

6.可以在/usr/local/oozie-4.1.0-cdh5.13.2/conf/oozie-env.sh中进行参数修改，比如修改端口号，默认端口号为11000.

7.oozie根目录创建libext文件夹，复制mysql的driver压缩包到libext文件夹中,也可以做一个软连接(libext是lib的扩展目录，好多软件都有)
mkdir /usr/local/oozie-4.1.0-cdh5.13.2/libext
cp /usr/local/hive-1.1.0-cdh5.13.2/lib/mysql-connector-java-5.1.32.jar /usr/local/oozie-4.1.0-cdh5.13.2/libext
8.创建oozie需要的表结构
命令：ooziedb.sh create -sqlfile oozie.sql -run
9.使用mysql客户端查看是否生成oozie的数据库和表
10.设置hadoop代理用户。hadoop.proxyuser.root.hosts&hadoop.proxyuser.root.groups
vi /usr/local/hadoop-2.6.0-cdh5.13.2/etc/hadoop/core-site.xml

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

分发给子节点
11.
执行命令oozie-setup.sh sharelib create -fs hdfs://zjy:9000 -locallib /usr/local/zjy/oozie/oozie-sharelib-4.1.0-cdh5.13.2-yarn.tar.gz
12.创建war文件(需安装unzip和zip yum-y install unzip;yum -y install zip)
执行addtowar.sh -inputwar $OOZIE_HOME/oozie.war -outputwar $OOZIE_HOME/oozie-server/webapps/oozie.war -hadoop 2.6.4 $HADOOP_HOME -jars $OOZIE_HOME/libext/mysql-connector-java-5.1.32.jar -extjs /bigdata/ext-2.2.zip
或者
（下面的好用一些）
将hadoop相关包，mysql相关包和ext压缩包放到libext文件夹中，运行oozie-setup.sh prepare-war也可以创建war文件
13.运行：oozied.sh run 或者 oozied.sh start(前者在前端运行，后者在后台运行)
14.jps 看见bootstrap说明oozie启动起来了###使用 oozied.sh stop 停止服务

15.查看web界面&查看状态oozie admin -oozie http://zjy2:11000/oozie -status ##显示normal属于正常

16.web页面查看地址：http://hadoop01:11000/oozie