Apache Kylin 安裝

依賴文件

在這裏插入圖片描述
鏈接:https://pan.baidu.com/s/18NuGdO3I9z-Uu9L3Xijvsw
提取碼:wqq0

依賴環境

  • Apache hbase-1.1.1-bin.tar.gz
  • spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz
  • apache-kylin-2.6.3-bin-hbase1x.tar.gz

注意:

  • kylin-2.6.3-bin-hbase1x所依賴的hbase爲1.1.1版本
  • 要求hbase的hbase.zookeeper.quorum值必須只能是host1,host2,…。不允許出現host:2181,…

安裝HBase1.1.1

  1. 下載hbase 1.1.1版本

hbase-1.1.1-bin.tar.gz

  1. 上傳到一臺服務器,解壓縮
tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/
  1. 修改hbase-env.sh

添加JAVA_HOME環境變量

export JAVA_HOME=/export/servers/jdk1.8.0_141/
export HBASE_MANAGES_ZK=false
  1. 修改hbase-site.xml,添加以下配置。

注意:

  • 修改HDFS NameNode節點名稱
  • 修改zookeeper服務器名稱
  • 修改zookeeper數據目錄位置
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://hadoop01:8020/hbase_1.1.1</value>
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

        <!-- 0.98後的新變動,之前版本沒有.port,默認端口爲60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>
        <property>
              <name>hbase.zookeeper.property.clientPort</name>
              <value>2181</value>
      </property>
      <property>
              <name>hbase.master.info.port</name>
              <value>60010</value>
      </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop01,hadoop02,hadoop03</value>
        </property>
        <!-- 要求hbase的hbase.zookeeper.quorum值必須只能是host1,host2,...。不允許出現host:2181,...-->

        <property>
        	<name>hbase.zookeeper.property.dataDir</name>
         	<value>/export/servers/zookeeper-3.4.9/zkdatas</value>
        </property>
      <property>
                <name>hbase.thrift.support.proxyuser</name>
                <value>true</value>
      </property>
      <property>
                <name>hbase.regionserver.thrift.http</name>
                <value>true</value>
      </property>
</configuration>
  1. 修改regionservers,添加其他的節點
hadoop01

  1. 在hbase conf目錄中創建core-site.xmlhdfs-site.xml軟連接
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml $PWD/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml $PWD/hdfs-site.xml
  1. 配置HBase環境變量
# Apache HBase 1.1.1
export HBASE_HOME=/export/servers/hbase-1.1.1
export PATH=$HADOOP/sbin:$HADOOP/bin:$HBASE_HOME/bin:$PATH

刷新環境變量

source /etc/profile

9.使用 zkCli 刪除之前的 hbase 節點

# 進入到 zkCli中
/export/servers/zookeeper-3.4.9/bin/zkCli.sh
#先啓動zk再執行刪除
# 執行刪除
rmr /hbase

啓動


  1. x啓動ZooKeeper

  2. 啓動HDFS

  3. 啓動HBase

    bin/start-hbase.sh
    
  4. 進入hbase shell

    hbase shell
    

執行上述操作,執行list命令,如果能顯示以下內容,表示安裝成功。

hbase(main):002:0> list
TABLE                                                                                                                  
0 row(s) in 0.1380 seconds

=> []

安裝kylin-2.6.3-bin-hbase1x

## 解壓apache-kylin-2.6.3-bin-hbase1x.tar.gz
tar -zxvf /export/softwares/apache-kylin-2.6.3-bin-hbase1x.tar.gz -C /export/servers/

增加kylin依賴組件的配置

(如果你怕修改其它軟件的配置文件導致kylin無法使用,可以把ln -s 軟鏈接換爲cp 複製命令)

cd /export/servers/apache-kylin-2.6.3-bin-hbase1x/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
cp $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf

配置kylin.sh

/export/servers/apache-kylin-2.6.3-bin-hbase1x/bin
vim kylin.sh

kylin.sh文件添加如下內容:

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
export HBASE_HOME=/export/servers/hbase-1.1.1
export SPARK_HOME=/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0

配置conf/kylin.properties

修改 kylin.properties 中HDFS的路徑,然後上傳到 Linux的 Kylin/conf文件夾中,覆蓋原有的文件

初始化kylin在hdfs上的數據路徑

hadoop fs -mkdir -p /apps/kylin

修改conf 目錄下複製過來的 hive-site.xml

修改所有的節點名稱爲你自己的節點名稱,可以在hosts文件中查看

啓動集羣

1、啓動zookeeper

2、啓動HDFS

3、啓動YARN集羣

4、啓動HBase集羣

5、啓動 metastore

nohup hive --service metastore &

6、啓動 hiverserver2

nohup hive --service hiveserver2 &

7、啓動Yarn history server

mr-jobhistory-daemon.sh start historyserver

8、啓動spark history server【可選】

cd /export/servers/spark/sbin/
./start-history-server.sh 

7、啓動kylin

 cd /export/servers/apache-kylin-2.6.3-bin-hbase1x/bin/
./kylin.sh start

7、登錄Kylin

http://hadoop01:7070/kylin

部分瀏覽器顯示界面是這樣的,無法兼容顯示,所以更換瀏覽器,直到能夠顯示即可
在這裏插入圖片描述
更換瀏覽器,直到有兼容的瀏覽器可以顯示如下界面
在這裏插入圖片描述

進行登錄:

默認用戶名 ADMIN
默認密碼 KYLIN
用戶名和密碼都必須是大寫

登錄成功,顯示如下頁面,可以創建Model和Cube了
在這裏插入圖片描述
如果安裝不成功,請檢查kylin所需的組件是否安裝配置正確。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章