原创 CDH6.0整合apache phoenix
一、安裝整合 phoenix沒有與CDH高版本(cdh6.x)的整合，這裏phoenix爲apache原生版本 組件：CDH6.0、Hbase2.0、Phoenix5.0 相關文檔： https://blog.csdn.net/z
2020-07-05 16:33:05
2
原创 mongo-scala某字段有則更新無則插入
問題： SparkStreaming處理實時數據將統計結果寫入mongo，用mongo-java的api需要做一層判斷即對某個維度進行查找如果存在則把指標更新，如果不存在則插入維度與指標字段，這種方式耗時效率低下 換用mongo-
2020-07-05 16:33:05
2
原创 Phoenix 映射已存在 HBase 表，查詢不到數據
問題描述： phoenix 映射已存在的 hbase 表 demo 時，表映射正常，但是使用 phoenix 查詢時，一直查詢不到數據。 1、hbase shell 插入數據 create 'test1','i' put 'tes
2020-07-05 16:33:04
原创 快速理解Hive的數據存儲格式及mapreduce底層原理
在大數據工程師面試時，下面這個題可謂是面試官的最愛，他考察了對於mapreduce框架以及hive的原理的理解，閱讀完這篇文章，在面試這一類的問題時，就會胸有撐住了！ 在創建hive表時，會有這樣一句：STORED AS TEXTFILE
2020-06-08 18:01:30
原创 Kylin3.0.1整合CDH6.0.0
一、安裝過程 本次使用的安裝環境： apache-kylin-3.0.1-bin-cdh60、CDH 6.0.1 kylin各版本地址：https://archive.apache.org/dist/kylin/ kylin自2.
2020-05-21 01:30:52
原创 Phoenix報錯：Inconsistent namespace mapping properties，Cannot initiate connection as SYSTEM:CATALOG
Spark API讀取Phoenix數據報錯： nconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is f
2020-03-10 15:39:52
原创 Spark中的Shuffle詳解
原文鏈接：https://www.cnblogs.com/itboys/p/9226479.html Shuffle簡介 Shuffle描述着數據從map task輸出到reduce t
2019-09-04 15:41:06
原创 通過ADB Client高效寫入數據到ADS
使用spark自帶的寫入MySQL的api，如下 dataframe.write.mode(SaveMode.Append).jdbc(url, table_name, prop) 我設置的是10s一個批次，一個批次的數據量大概
2019-06-29 15:45:00
原创 Linux下磁盤掛載
一、查看是否已分配 可以看到有兩個磁盤分別爲：/dev/vda 和 /dev/vdb。 注：圖中/dev/vdb磁盤是已經分過區的，如果沒有分區的話是沒有 /dev/vdb1的 2、發現有磁盤，路徑爲/dev/vdb，然後使用f
2019-06-27 15:49:00
2
原创 java.io.IOException: Cannot obtain block length for LocatedBlock{BP
問題描述： 出現這個錯誤 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331 原因： 文件異常關閉，導致讀寫任務失敗 使用命令查看文件塊
2019-05-21 15:47:28
2
原创 使用spark的api讀取mongo版本不兼容問題
spark版本2.1.1 mongo版本3.4.6 話不多說了，搞了一天，結論這樣的： 如果使用spark的api讀取mongo有NotFoundClass或者NoSuchMethod等此類錯誤，一般着手兩個方面去考慮： 1、集羣
2019-05-21 15:47:28
2
原创 spark streaming 消費 kafka 數據時報 Java .lang.IllegalStateException: No current assignment for partition
消費 kafka 數據時剛開始可以穩定跑一會，但是過不了幾分鐘就跑出此異常程序中斷，java.lang.IllegalStateException: No current assignment for partition 解決：
2019-05-21 15:47:28
25
原创 logstash gsub替換
{ "message" => "192.168.11.186,192.168.11.187\t48391,3306\tDec 7, 2016 13:26:25.134545378\t\tSELECT \\x0a
2019-05-06 22:36:58
原创 logstash urldecode filter 插件
先查看下logstash是否有urldecode的插件 在logstash的安裝目錄的bin下執行下面命令： ./logstash-plugin list 可以看到有logstash-filter-urldecode插件 如果沒有
2019-05-01 01:07:59