原创 Kylin 廣播機制流程、源碼分析-觸發autoMerge segments爲例
從用戶觸發Build cube 到build 完成觸發實體"cube"廣播一整個流程源碼追蹤。 用戶提交Build cube請求 ——》Kylin生成相關Job並持久化([參見Kylin Cube 構建源碼分析-生成job並持
2020-06-17 05:54:14
原创 Kylin實時OLAP（Real Time OlAP又稱RT OLAP）查詢模塊源碼分析
Kylin RT OLAP 查詢大致邏輯：Kylin query server 根據當前傳入的查詢條件，定位到要查詢的segment，在根據這些segment定位哪些segment從歷史（hbase）查詢、哪些segment從實
2020-06-17 05:54:14
原创 clickhouse安裝(單機版)—服務安裝
1、添加hadoop賬號 2、設置hadoop賬號具有sudo權限 #切換root賬號，執行visudo [root@bigdata-k-01 ~]# visudo #在visudo 中root ALL=(ALL)
2020-06-17 05:54:13
1
原创 Kylin Real Time OLAP查詢數據不準確問題定位解決全過程
最近團隊正在調研Kylin Real Time OLAP (RT OLAP)模塊，由於此模塊社區還未發佈穩定版，在調研過程中多多少少會踩坑，本文主要是對《通過Kylin查詢的數據與ES查詢的數據對不上》的問題，整個過程的排查、定
2020-06-17 05:54:13
原创 Spark 生成 janusgraph adjacent list
圖數據庫中的數據通常會來源於多張自然表在hive或關係型數據庫.如存儲人員城市graph。通常會有3張表，如：人員表(person)、地址表（address）、人員地址關聯關係表（person_address）。 一、原始數據
2020-06-17 05:54:13
原创 終於等到你 —— Kylin Hive Global Dict and Global Domain Dict
前幾天，Kylin社區的同學告訴我，Kylin Hive Global DICT V2(分佈式全局字典V2)和Global Domain Dict（全域字典）功能已經合併到Master分支，將在3.1版本發佈，想要躍躍欲試的夥伴
2020-06-17 05:54:13
原创 SparkGraphComputer janusgraph bulkloading adjacent list
通過SparkGraphComputer方式將HDFS中的數據導入到janusgraph中，janusgraph後端存儲採用hbase，索引採用es，使用spark將原始表關係型數據生成janusgraph需要的adjacent
2020-06-17 05:54:13
18
原创 Clickhouse 查詢分佈式表子查詢 （Distributed Subqueries ）
官方文檔：https://clickhouse.tech/docs/en/sql-reference/operators/in/#select-distributed-subqueries 在分佈式表上執行in/join等子查詢
2020-05-23 19:35:50
原创 Apache Druid —— 使用Druid SQL 查詢數據源Datasources（二）
根據__time 過濾查詢 #查詢XXX這張表__time在2019-06-03T16:00:00.000Z至019-06-03T16:07:00.000Z的數據，__time爲此datasource的時間序列，每個datasou
2020-05-09 22:02:24
原创 Apache Druid —— 使用Druid SQL 查詢元數據查詢（一）
Druid使用SQL查詢時，默認有3個schemal(類似於mysql的庫）：druid/INFORMATION_SCHEMA/sys 。 用戶的所有datasource均表示爲表，存儲在druid這個schemal(庫)下，默
2020-05-09 22:02:24
原创 clickhouse安裝—服務安裝
1、添加hadoop賬號 2、設置hadoop賬號具有sudo權限 #切換root賬號，執行visudo [root@bigdata-k-01 ~]# visudo #在visudo 中root ALL=(ALL)
2020-04-16 23:58:32
原创 spring mnv (一)
一、SpringMVC框架原理重要組件 1.1 DispatcherServlet : 前端控制器,接收所有請求(如果配置/不包 含jsp)，負責攔截所有請求. 1.2 HandlerMapping: 解析請求格式的.判斷希望要執
2020-04-16 23:58:32