原创 kafka使用mysql進行認證管理
目錄背景SASL/SCRAMSASL/PLAIN改造新建mysql 元信息庫新增mysql 連接池工具類修改PlainSaslServer類打包測試兼容上線後續 背景 因爲公司其他業務方使用的語言多種多樣，以C和C++爲主
2020-07-06 10:55:48
8
原创 修改源碼使kafka-console-consumer.sh支持從指定時間開始消費
目錄背景解決方案方案1-用Java新開發一個的消費工具方案2-修改kafka源碼，利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL環境準備修改代碼打包測試 背景
2020-07-03 00:41:48
3
原创 kafka只讓Producer自動創建Topic同時禁止consumer自動創建Topic
kafka只讓Producer自動創建Topic背景操作後記 背景 最近我們要做從mysql 到大數據平臺的數據流轉，定下的方案是maxwell同步binlog到kafka中，再由flink消費kafka的數據寫往kudu
2020-07-03 00:41:48
4
原创 Maven編譯系列（一）——Plugin
做java開發的肯定對maven再熟悉不過了，可是我之前對maven的瞭解卻也僅限於拷貝pom模版，然後添加自己的dependecy而已，頂多加上build和repository這兩個參數來指定java版本和maven源，最後編譯這塊兒還
2020-06-29 01:20:52
原创 大數據平臺部署-----ambari在線和離線安裝
一、在線編譯安裝1.1. 安裝獨立maven1.1.1. 下載Mavenwget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries
2020-06-11 09:39:26
3
原创 kafka connector 中的輕量級ETL-transfomation功能介紹
在kafka connector的使用中，可能因爲各種原因（業務原因、connector需要key或者schema等）需要用到transfomation，處理消息的內容。下面列舉了kafka connector 自帶的transfomat
2018-11-14 01:54:55
原创 CDH添加服務-----以sentry爲例
1. 背景雖然在集羣上部署了kerberos認證，但是kerberos只是對用戶層面進行認證，凡是認證通過的用戶都有全量的訪問權限，這很不安全，需要進一步對用戶的權限進行控制，Sentry 的作用就是這個。2. 添加Sentry服務2
2018-08-26 23:48:59
原创 sqoop源碼解析-----從mysql到hive爲例
上班這麼久了，大部分時間都是在大數據平臺組件的基礎上做一些小的開發，既然是在別人的東西上修改，除了百度或者谷歌搜索前人的講解，自己閱讀源碼一定是必不可少的。但是源碼裏代碼量那麼大，往往一時間多很難找到整個程序的入口，這時候 往往容
2018-08-26 23:48:47
原创 大數據平臺運維-----Kerberos環境下Hive及Impala監控腳本的開發
一、工程目錄二、原理解析 Hive和Impala是兩個最常用的大數據查詢工具，他們的主要區別是Hive適合對實時性要求不太高的業務，對資源的要求較低；而Impala的由於採用了全新的架構，處理速度非常的快，但同樣的也對資源消耗比較大
2018-08-26 23:48:47
1
原创 大數據平臺部署------CDH啓用TLS加密傳輸
1. TLS介紹1.1. 背景部署了Kerberos之後，CM會提示有安全隱患，至少需要一級TLS加密。1.2. 相關知識傳輸層安全性（TLS）在ClouderaManager服務器和代理之間的通信中提供加密和身份驗證。 加密可防
2018-08-26 23:48:47
原创 HDFS、Hive、HBase常用命令整理
對於一個初學者來說，HDFS、Hive、Hbase常用命令比較多，一時間又難以記住，這裏做一個小小的整理總結1. Hadoop命令文件瀏覽，不能遞歸顯示 hadoop fs –ls /[path] 遞歸顯示文件 hadoop fs –l
2018-08-26 23:48:47
1
原创 kafka自動化腳本部署
一、背景 如果不採用CDH或者ambari等平臺來部署kafka的話，一臺一臺的安裝，一臺一臺的改配置，真的是一個非常讓人頭疼的事情呢，經領導提示，爲什麼不寫個shell腳本來進行一件部署呢二、java自動部署if [ ! -d /
2018-08-26 23:48:45
2
原创 kafka集羣安全化之啓用kerberos與acl
一、背景在我們部署完kafka之後，雖然我們已經可以“肆意”的用kafka了，但是在一個大公司的實際生產環境中，kafka集羣往往十分龐大，每個使用者都應該只關心自己所負責的Topic，並且對其他人所使用的Topic沒有權限。這樣一來可以
2018-08-26 23:48:45
原创 Kerberos常用命令總結
進入kadmin kadmin.local/kadmin 創建數據庫 kdb5_util create -r JENKIN.COM -s 啓動kdc服務 service krb5kdc start 啓動kadmin服務 service
2018-08-26 23:48:45
原创 大數據平臺部署-------CDH集羣中啓用kerberos認證
1. Kerberos部署1.1.安裝相關軟件server端 yum -y install krb5-server krb5-libs krb5-auth-dialog Agent端 yum install krb5-devel krb
2018-08-26 23:48:42
3