StreamSets 從Mysql到Hbase(帶kerberos認證)的實時數據採集

引言

最近在研究StreamSets,就做了個簡單Demo熟悉它的使用,由於我們的hbase是cdh版的,且帶有kerberos認證,與streamsSet怎麼配帶kerberos認證的Hbase中文資料甚少,所以本人就去官網翻看了一下。

環境介紹

安裝streamSets這裏我不作過多介紹,這方面的網上資料有不少。我採用的是核心包安裝(Core Tarball),版本爲streamsets-datacollector-core-3.6.1.tgz。因爲是核心包安裝,所以需要添加hbase的庫,hbase的庫是在cdh。
在這裏插入圖片描述
安裝步驟:主界面點擊那個盒子,然後點擊cdh安裝就好,完全是圖形化的。

mysql配置

正常的新建Pipelines我就不多說,大家可以參看https://cloud.tencent.com/developer/article/1078852
在這裏插入圖片描述
可以配置一部分就先預覽一下:
在這裏插入圖片描述

帶kerberos認證hbase配置

這個就比較麻煩了!網上基本沒有什麼中文資料有說明。
在這裏插入圖片描述
kerberos認證的配置,可參看官網:https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCConfig.html#concept_hnm_n4l_xs
具體步驟:
1、將Kerberos配置文件krb5.conf複製到Data Collector計算機。默認位置是/etc/krb5.conf。
注:安裝streamset的機器需要注意一下hosts文件,ip到主機名的映射。
2、修改Data Collector配置文件sdc.properties將Data Collector配置爲使用Kerberos。
在這裏插入圖片描述
在這裏插入圖片描述
3、重新啓動Data Collector.
4、在streamset的hbase配置中勾選kerberos認證選項,如上圖。

總結

這個效果圖:
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章