ambari2.6安裝alluxio2.1.0

ambari2.6安裝alluxio2.1.0

準備的文件:

alluxio-2.1.0-bin.tar.gz (自己去下載)
ranger-hive-plugin-0.7.0.2.6.5.0-292.jar (如果沒有ranger控制權限,涉及的下面相關操作可忽略)
ambari-alluxio-service-master.zip (本人二次開發的ambari插件,實現ambari控制管理alluxio)

鏈接:https://pan.baidu.com/s/1f_C6E1_ZsqOyonPoUuroVA
提取碼:pbk1

step1. Linux環境配置

ambari server節點上執行:

cd /var/lib/ambari-server/resources/stacks/HDP/2.6/services
mkdir ALLUXIO
unzip ambari-alluxio-service-master.zip -d ALLUXIO/
mv alluxio-2.1.0-bin.tar.gz ALLUXIOF/package/files/

由於線上hive通過ranger控制權限,alluxio對ranger管理的hive表會有權限問題,目前只能經過本人修改源碼繞過alluxio對ranger的權限管理,已提供重新編譯打的jar包:ranger-hive-plugin-0.7.0.2.6.5.0-292.jar

hiveserver2節點上執行:

#均強制覆蓋
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/hive2/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-hive-plugin/lib/ranger-hive-plugin-impl/
cp ranger-hive-plugin-0.7.0.2.6.5.0-292.jar /usr/hdp/2.6.5.0-292/ranger-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive/

由於alluxio自身是root用戶啓動,無法修改,訪問hdfs會有權限問題,需要把root用戶加入hdfs組,每臺機都需執行:

usermod -a -G hdfs root

新建hdfs上的alluxio的home目錄,設置權限

hadoop fs -mkdir /user/alluxio
hadoop fs -chown root:hdfs /user/alluxio
hadoop fs -chmod 755 -R /user/alluxio

由於新安裝需要重啓ambari-server,此操作對線上無影響

sudo ambari-server restart

step2. ambari配置

在這裏插入圖片描述

在這裏插入圖片描述

通過最近機器負載觀察,確定把master節點選擇cxy-hdp-node-60 這臺機

在這裏插入圖片描述
線上機器由於cxy-hdp-node-171、cxy-hdp-node-172這兩臺機負載過大,worker節點選擇除這兩臺機機以外的所有Datanode節點

在這裏插入圖片描述

一路next直到這裏去掉鉤鉤

在這裏插入圖片描述

一路next直到安裝成功,直到一片綠

在這裏插入圖片描述

重啓hiveserver2

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章