原创 jprofiler使用
1 安裝 1-1 windows和mac安裝 1-2 linux安裝 2 使用 2-1 windowmac使用 2-1-1 IDE集成 2-1-2 已有jvm連接 2-1-3 連接遠程jvm進程 2-1-4 拷貝配置文件
2020-02-24 05:30:36
原创 zookeeper
搭建 1-1 修改配置文件 1-2 添加data 1-3 啓動 shell命令 2-1 create 2-2 delete 2-3 get java api 3-1 zookeeper基本概念 1 搭建 1-
2020-02-24 05:30:36
原创 presto源碼分析(hive的分區處理)
hive處理分區時的調用棧 1 代碼分析 hive分區加載 修改源碼時遇到一個問題，就是對分區的處理，當遇到join查詢時，如上篇文章presto join連接時的謂詞處理所述，對於某些情況下，如果謂詞帶or，會吧分
2020-02-24 05:30:35
原创 Presto源碼解析(LocalExecutationPlanner類)
在visitScanFilterAndProject方法中，會使用代碼生成產生cursorProcessor和pageProcessor，無法跟蹤代碼，所以把代碼生成相關的代碼註釋掉，即可使用解釋型產生hash的產生方法
2020-02-24 05:30:35
原创 presto讀取kafka數據
1- 1-1 配置方法 1-1-1 catalog配置 1-1-2 schema配置 1-2 啓動和使用 1-3 源碼分析 1-3-1 metadata 1-3-2 任務切分 1-3-3 數據讀取 1- 今天分
2018-09-03 22:49:18
1
原创 kafka0.9
offset和consumer position 消費者組和topic訂閱 例子 手動控制offset提交 在kafka外存儲offset 控制Consumers Position Consumption Flow Control M
2018-09-03 22:49:04
原创 spark中的countminsketch
什麼是countminsketch算法 spark中的countminsketch 代碼示例： import org.apache.spark.util.sketch.CountMinSketch import org.apache.sp
2018-09-03 22:49:04
2
原创 flume中的monitor
json方式配置 啓動 生成數據 顯示： JMX方式 配置 啓動 打開jconsole http://flume.apache.org/FlumeUserGuide.html#monitoring 如果沒有監控器，那麼f
2018-09-03 22:49:04
原创 對比MPP計算框架和批處理計算框架
對比MPP計算框架和批處理計算框架 標籤（空格分隔）： 翻譯 大數據技術交流QQ羣：543190166 歡迎各位加入學習討論，共同進步 原文鏈接： https://content.pivotal.io/blog/apache-haw
2018-09-03 22:49:03
原创 pq
PQ算法 參考： https://blog.csdn.net/u013508213/article/details/72792803 需要四個數據集，分別是： 訓練數據集 用來訓練數據的中心點 database數據集 用來給這個數據
2018-09-03 22:49:03
6
原创 kafka0.8版本和sparkstreaming整合的兩種不同方式
1- kafka-082以上kafka-010以下 1-1 基於receiver的方式 1-1-1 重寫Receiver的onStart方法 1-1-1-1 構造BlockGenerator時會構造一個定時器 1-1-1-2 另外一個
2018-09-03 22:49:02
1
原创 jdk中的queue
1- 需求背景 2- LinkedBlockingQueue源碼分析 2-1 重要成員變量 2-2 插入方法 2-2-1 put方法 2-2-2 offer方法 2-2-3 boolean offerE e long timeout
2018-09-03 22:49:02
3
原创 sparkstreaming和kafka0.10版本整合
sparkstreaming和kafka0.10版本整合 標籤（空格分隔）： 未分類 sparkstreaming和kafka010版本整合 Maven依賴 創建directstream LocationStrategies Cons
2018-09-03 22:49:01
1
原创 kafka 0.8 simple api使用
使用simple consumer 爲什麼使用simple consumer 代碼示例 Finding the Lead Broker for a Topic and Partition Finding Starting Offset
2018-09-03 22:49:01
原创 一個關於kylin的疑惑
自從研究了kylin這個系統之後，就一直有一個疑惑，那就是kylin針對某一特定查詢條件建立的cube，只能在這個條件下查詢預計算的結果，如果條件一旦換了，cube就廢了。帶着這個疑問我在很多技術羣裏和別人討論和爭辯，都沒有結果。看了很多
2018-09-03 22:49:01