原创 通過Flume拉取Kafka數據保存到HDFS
新建一個flume的.properties文件 vim flume-conf-kafka2hdfs.properties # ------------------- 定義數據流---------------------- # sour
2018-09-05 05:42:42
原创 使用ES-Hadoop插件通過Hive查詢ES中的數據
本來是想既然可以通過es-hadoop插件用hive查詢es的數據，爲啥不能用impala來做分析呢； 結果是hive查es成功了，impala查詢不了，悲劇，但還是記錄一下過程中遇到的問題，特別是日期格式轉換那裏搞了好久。 安裝：
2018-09-05 05:42:42
原创 使用MapReduce將Hadoop HDFS中的日誌文件導入HBase中（二）
最近準備面試，所以上次寫完《使用JAVA將Hadoop HDFS中的日誌文件導入HBase中（一）》後去研究了下HBase原理及架構，所以一直沒有進行下一步的記錄，今天來記錄一下由HDFS高效率導入HBase的兩種導入方式。 1.使用Ma
2018-09-05 05:42:42
原创 使用JAVA API和MapReduce讀取HBase裏的數據(可用作HBase數據清洗)
一.使用JAVA API的方式 private static Table table = null; // 聲明靜態配置 static Configuration conf = null; static { conf = HBa
2018-09-05 05:42:42
原创 HBase分佈式安裝配置圖文詳解
一、準備工作 首先確保已經搭建好Hadoop集羣環境，可以參考之前的博文安裝配置好。 《Hadoop分佈式集羣環境搭建》 HBase需要依賴Zookeeper管理，所以確保每臺機器都安裝配置好了Zookeeper，可以參考之前的博文（注
2018-09-05 05:42:42