星環TDH之kafka筆記

1.kafka開通krb認證之後，需要在消費kafka時候加載配置文件

./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-factor 1

消費kafka，並打印出來數據

./kafka-console-consumer.sh --bootstrap-server 198.28.1.81:9092 --topic hs_user_useroperlog --from-beginning --new-consumer --consumer.config ../config/consumer.properties

需要加入--consumer.config ../config/consumer.properties配置，否則回報出來錯誤

錯誤如下：

2.明確kafka格式問題kafka最終的數據都是統一的數據，最終轉換之後的數據如下：

3.Tdhclient目錄下kafka目錄結構

tdh比較好的是很多配置文件都整理好了，可以直接使用