大數據之kylin(一)----kylin的搭建分類和多節點的搭建實戰

本篇博客主要介紹kylin的搭建方式的分類和部署多節點的方式實戰

kylin主要作爲一種預計算的大數據工具來提高大數據下的查詢速度工具,在實際的應用中入門較快,上手容易。具體的相關知識可以參考http://kylin.apache.org/cn/

1,一般在企業中有多種種部署方式,下面做一個簡單的介紹:

第一種:單列部署(單點部署形式)

在已經部署了Hadoop、hive、hbase等的集羣中選擇hadoop的其中一個節點安裝kylin,相關配置參考官方網站。配置後啓動kylin,登陸kylin web界面根據業務需求建立效率較高的cube,最後在構建成功的cube下查詢相關數據。

第二種:多節點部署

在多節點部署中,每個kylin共用相同的元數據信息,相對於單節點只是將kylin多部署幾個節點,只是需要配置kylin下conf中kylin.properties的

kylin.server.mode=all只能有一個節點是all,其他節點爲query
kylin.server.cluster-servers=localhost:7070 在這一行添加地址如下:
kylin.server.cluster-servers=kylin節點ip:7070,kylin節點ip:7070

注:多節點需要實現負載均衡,一般使用nginx、lvs、HAProxy等等,從而保證kylin節點的負載均衡。我在部署中部署了多臺nginx,使用keepalived做了nginx的HA。

其他部署方式:

如:計算集羣和存儲集羣分離模式,目的是充分展現集羣的各個功能特點,但是不共用集羣會帶來大量的網絡I/O計算結束將結果copy的過程存在大量的網路I/o。沒有實踐過也不知好和壞,這裏不繼續介紹。

2,多節點部署kylin的實戰

  • 首先搭建自己的Hadoop集羣,其中包括HBase、Hive等集羣;
  • 安裝kylin,我安裝了兩個節點的kylin在Hadoop集羣中;
  • 配置kylin的多節點模式,在kylin.properties裏;
  • 安裝部署nginx,由於擔心會有單點故障,我部署了兩臺nginx;
  • 爲了更好的管理nginx,使用了keepalived作爲nginx的HA。

注:在設置nginx反向代理監聽端口的時候最好修改爲其他端口,改掉默認的80端口,其中在監聽中有ipv4和ipv6的設置,兩種設爲同一個端口就行。

最後需要改掉jdbc的端口號,將端口號改爲nginx監聽的端口號。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章