原创 Kylin Cube Build(一)：接口說明
Kylin Cube Build的接口說明 每一個Cube需要設置數據源、計算引擎和存儲引擎，工廠類負責創建數據源對象、計算引擎對象和存儲引擎對象 三者之間通過適配器進行串聯 數據源接口(ISource) public i
2020-02-21 03:05:11
原创 通過MapReduce使用HBase解決第三方jar包依賴的方式
通過MapReduce使用HBase解決第三方jar包依賴的方式 用戶在使用HBase作爲數據源、目標庫，或者同時作爲兩者使用來處理數據時，需要先準備好可用的Hadoop 當運行 MR作業所需庫中的類不是綁定在Hadoop或M
2020-02-21 03:05:11
原创 Web應用程序基礎知識
Web應用程序基礎知識 關於HTML 關於URL、URN和URI URL: Uniform Resource Locator 統一資源定位符 URN: Uniform Resource Name 統一資源名 URI: Unifo
2020-02-21 03:05:11
原创 如何在CRUD時自動完成枚舉和數值的類型轉換
在設計業務數據庫的時候，爲了減少存儲，通常會將一些可列舉值的字段，設置成數字(tinyint)型，比如應用的角色(學生、教師)，性別(男，女)等 在Java代碼中，使用枚舉類型(enum)來聲明這些數據域，這就涉及到了一個轉換
2019-09-04 16:31:28
原创 如何用Docker部署Spring Boot，隨手再搭一個Kong作爲API網關
雖然文章的標題只是信手拈來，但是把這個小環境跑通，委實是費了一大番周折啊，不管是Docker還是API網關Kong，對自己來說還是稍顯陌生，不過這麼多年來，對自己培養最大的收穫，是解決問題的思路和方法，所以一點點的把問題分解之後
2019-08-03 16:26:38
8
原创 如何用Swagger生成API文檔
隨着前後端分離的態勢越演越烈，API文檔是後端和前端交互(撕逼)的神器，古人通常在“紙上”寫就一篇篇的API八股。隨着自動化時代的來臨，有了Swagger這樣自動生成API文檔的工具存在，後端的開發哥哥就再也不用揮汗如雨地書寫A
2019-07-31 16:30:07
原创 通過Hive JDBC提交的查詢, 如何獲取其在Yarn上的Application ID
數據平臺上需要封裝Hive查詢，只提供API給業務方使用，代碼中通過Hive JDBC完成將查詢語句向Hive提交，等待執行完成，結果解析的功能. 用戶提交查詢之後意識到查詢語句錯誤(非語法錯誤)，不想等待錯誤的語句執行完成後
2019-07-30 16:39:29
38
原创 精確去重和Roaring BitMap
精確去重和Roaring BitMap 互聯網行業常見的一個業務需求就是求UV(日活)和N日留存，這就涉及到去重計數(COUNT DISTINCT)的計算. BitMap概述 精確去重算法主要通過BitMap來實現，它本質上
2019-07-13 16:08:28
1
原创 Cube的維度優化
Cube的維度優化 Cube的優化目的始終爲: 空間優化和查詢時間優化 隨着維度數目的增加, Cuboid 的數量會爆炸式地增長 爲了緩解Cube的構建壓力, Apache Kylin引入了一系列的高級設置, 幫助用戶篩選出真正需要的
2018-08-28 07:00:05
原创 Kylin Cube Build(二)：構造任務鏈
Kylin Cube Build的任務鏈構造 以MR_V2爲例 構建過程的時序單位爲step，在代碼中有些step也稱做task 初始化操作 構建cube的程序入口: new BatchCubingJobBuilder2(newS
2018-08-28 07:00:05
原创 Spring學習筆記之二: Spring MVC
Spring學習筆記之二: Spring MVC Spring MVC的請求路線 在Spring MVC中，DispatcherServlet就是前端控制器 DispatcherServlet的任務是將請求(包含URL)發送給Sp
2018-08-28 07:00:05
3
原创 Druid平臺搭建手冊
Druid平臺搭建手冊 機器和系統的標準規劃 機器初始化, 創建用戶druid 程序安裝在/home/druid/software目錄下 數據存放在SSD盤上, 掛載目錄爲/data, 新建一個名爲druid的文件夾 權限授予, dru
2018-08-28 07:00:05
1
原创 Log4j2的簡要使用
剛好這周的一項任務是把Druid平臺的Log4j2的xml配置文件翻譯成properties，原因是xml格式的配置文件看着不舒服 在網上查了下資料，Log4j進入2.x版本後，一開始就拋棄了properties格式的配置文件，到2.
2018-08-28 07:00:05
10
原创 回溯法的基本框架
Backtracking 回溯算法的基本框架 維基百科上的回溯法定義：Backtracking is a general algorithm for finding all (or some) solutions to some com
2018-08-28 07:00:05
原创 用Java處理JSON 二
用Java處理JSON 二 在上一篇文章用Java處理JSON 一中，提了對JSON進行解析的最原始的方法，即通過JsonObject類和JsonArray類手動處理JSON對象和JSON數組，這種方法需要手動解析整個JSON的每一個元
2018-08-28 07:00:05