Ambari2.7+HDP3.X集成Dolphinscheduler1.3

一、安裝準備

• Dolphinscheduler1.3安裝包，詳情可參考 dolphinscheduler在window環境下單機編譯+部署 中生成的的tar包，由於官網未正式release，爲大家方便，這裏提供已編譯好的tar包，鏈接：https://pan.baidu.com/s/18ILymCAnYnhcIpgbGUAENQ 提取碼：vvtw
• mysql jdbc驅動包：mysql-connector-java-5.1.47.jar
• ambari插件包地址，已兼容開發好，還未合入官方代碼庫：HDP3.X+DS1.3.0

二、環境準備

1.新建數據庫

CREATE DATABASE dolphinscheduler;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

2.java環境準備

雖然配了java home，但是後面安裝完成Dolphinscheduler啓動各個server的時候會報java command not found，注意！java執行入口一定要軟鏈到/usr/bin/java，先檢查是否存在:

whereis java

如果不存在/usr/bin/java,則需要所有節點執行：

alternatives --install /usr/bin/java java /opt/app/jdk1.8.0/bin/java 1

/opt/app/jdk1.8.0/bin/java 這裏是我的路徑，要改成你的，如圖表示成功

三、ambari集成

1.軟件包準備

• 把Dolphinscheduler1.3的安裝包、 jdbc驅動包放在你的Apache或Nginx服務器上

• 在Ambari Server節點上新建DOLPHIN目錄，把插件包放在路徑下

  hdp3.0:對應：/var/lib/ambari-server/resources/stacks/HDP/3.0/services/DOLPHIN

  hdp3.1:對應：/var/lib/ambari-server/resources/stacks/HDP/3.1/services/DOLPHIN

2.修改文件

如果是HDP3.1的用戶，略過下面的修改，此修改只針對HDP3.0的用戶。

編輯alerts.json文件，分別第68行、100行、133行修改path對應的值爲HDP/3.0/services/DOLPHIN/package/alerts/alert_dolphin_scheduler_status.py

3.正式安裝

1. 重啓Ambari Server,執行：ambari-server restart

2. 進入ambari界面，界面左側 >> services >> Add service >> Dolphin Scheduler >> NEXT >>

   選擇DS Master

配置部署的用戶，數據庫host用戶名密碼，hdfs地址

再進入ADVANCED配置界面，配置Advanced dolphin-logback項，由於logback配置是xml格式，ambari這方面value值是xml格式的配置不能解析，目前還沒有一個很好的辦法，這裏手動配置各個server的logback，也可以根據自己的需要修改模板，把下列文件內容拷貝到對應的配置項即可：

alert_logback.xml：alert_logback.xml

apiserver_logback.xml：apiserver_logback.xml

master_logback.xml：master_logback.xml

worker_logback.xml：worker_logback.xml

配置Advanced dolphin-ambari-config，填入上面上傳到本地服務器的Dolphinscheduler1.3安裝包地址和jdbc驅動地址

一路next

在任意一個節點上執行數據庫初始化腳本：

chmod 755 -R /usr/hdp/3.1.4.0-315/dolphinscheduler/script/
/usr/hdp/3.1.4.0-315/dolphinscheduler/script/create-dolphinscheduler.sh
/usr/hdp/3.1.4.0-315/dolphinscheduler/script/upgrade-dolphinscheduler.sh

數據庫初始化成功後，進入ambari，啓動所有服務

點擊右邊的Quick Links，進入ui界面，用戶名密碼：admin / dolphinscheduler123

安裝成功！！