原创 java泛型

從JDK1.5以後,Java引入了“參數化類型”的概念,允許我們在創建集合時指定集合元素的類型,這就是我們要談的泛型。 爲什麼要泛型? 爲什麼要搞泛型這個東西呢?這還得從Java集合的缺點說起。熟悉Java集合的朋友們都知道,把一個對象

原创 Java數據類型

Java數據類型有兩類:基本數據類型和引用類型。 基本類型包括boolean類型和數值類型。 數值類型有整數類型和浮點數類型。 整數類型包括byte、short、int、long、char,浮點類型包括float、double。 引用類型

原创 Java配置環境變量

爲什麼要配置環境變量? 做爲java初學者在學Java時都不可避免的要掌握java環境變量的配置,如今網絡如此發達,我們的開發者們都有分享的精神,關於java環境變量的配置,網絡上一搜一大把,雖然按着別人的方法正確設置了環境變量,但其中的

原创 spark on yarn 原理、資源分配、優化等收集

一、集羣使用注意點: 1、跑的任何job,最好都要加上有意義的job name,不要使用默認的名字hive on spark; 2、job應儘可能的少用集羣資源達到理想的效果,而不是有多大用多大來提高性能; 二、spark on ya

原创 OLAP 玩轉KYLIN 步十四 爲什麼使用Hive View

本篇內容大部分參考自文章《Kylin實踐之使用Hive視圖》 爲什麼需要使用視圖 Kylin在使用的過程中使用hive作爲cube的輸入,但是有些情況下,hive中的表定義和數據並不能滿足分析的需求,例如有些列的值需要進行處理,有些列的類

原创 OLAP 玩轉KYLIN 步四 官方案列實戰之hive與kylin間的表同步

Project創建完成後,我們的下一步就是要同步表。若要在kylin中使用OLAP 玩轉KYLIN 步二 官方案列實戰之介紹涉及的表中提到的各張表,需要先將表從hive同步到kylin中,步驟如下: 按下圖標記的數字順序點擊 點擊

原创 OLAP 玩轉KYLIN 步九 官方案列實戰之創建Cube之Advanced Setting

緊接上一節數據刷新設置完畢,點擊Next,便進入Advanced Setting設置界面。 首先,第一項設置聚合組,如圖: 合理的聚合組設置,既可以滿足查詢的需求,也可以優化cube的構建,讓我們先理解概念,再談如何優化。 聚合組

原创 OLAP 玩轉KYLIN 步十一 官方案列實戰之創建Cube之最後一課

經過前面幾節講解cube的創建,終於我們迎來了最後一步,保存cube的創建,如圖: 創建完成cube並不是工作的結束,只有build cube完成,纔算是達到了我們查詢的目的,但這時候仍然離終極解決方案有些距離。如何優化cube減少

原创 OLAP 玩轉KYLIN 步八 官方案列實戰之創建Cube之數據刷新設置

緊接步七,我們就進入了cube數據刷新設置的界面,如圖: 這裏的設置目前包含“Auto Merge Thresholds”、“Volatile Range”、“Retention Threshold”、“Partition Star

原创 OLAP 玩轉KYLIN 步一 萬丈高樓平地起

教程假定kylin系統已被負責運維的人員安裝部署完成,使用kylin的人員無需關心繫統的運行及配置問題。 工欲善其事,必先必知必會 kylin設計原理,必知 kylin概念術語,做到深刻理解,方便優化cube的構建 維度(Dime

原创 OLAP 玩轉KYLIN 步十二 官方案列實戰之build cube

Cube 創建之後,我們就可以對其進行build,下面將介紹build過程中涉及的一些操作。 如下圖所示,點擊Build,即開啓cube的創建: 具體的創建過程及進度,可在Monitor菜單下查看,如下圖: 如果上圖中的

原创 OLAP 玩轉KYLIN 步十三 官方案列實戰之查詢

cube build成功後,我們就可以進行相關查詢了,我們可以用kylin的web UI 來寫SQL進行查詢,也可以用kylin提供的查詢接口來查詢,並自定義自己的展示方式,也可以與現有的第三方系統集成,完成數據的查詢展示。 cube的

原创 OLAP 玩轉KYLIN 步三 官方案列實戰之創建Project

不同的查詢需求,可以創建不同的Project,就像文件系統的目錄一樣。創建Project很簡單,步驟如下: 打開Apache Kylin的Web UI,點擊Model,點擊下圖‘+’,創建Project,如圖: 命名project

原创 Phoenix優化

文章轉載自:http://outofmemory.cn/code-snippet/7879/Phoenix-performance-tuning Phoenix性能優化 一.建表優化 Salting 翻譯成中文是加鹽的意思,本質是在hba

原创 OLAP 玩轉KYLIN 步十 官方案列實戰之創建Cube之Configuration Overwrites

在kylin的安裝目錄 下的conf/kylin.properties 文件中有許多控制影響kylin執行的參數配置項; 其中有些是全局配置,即一個運行中的kylin進程,全局參數一旦設定,運行過程中只以全局參數的配置爲準,不會運行中被改