原创 Apache Impala總結
Impala 基於hive，使用內存計算，提供對HDFS、Hbase數據的高性能、低延遲的交互式SQL查詢功能。Impala適合用來處理輸出數據適中或比較小的查詢。 組件簡紹 Impala Statestore :檢查集羣各個
2020-06-13 08:01:20
4
原创 數倉ods分區總結
表概念 1.全量表：用來記錄當前所有事物的最新信息，包括變化的和沒有變化的. 2.增量表：用來記錄事務的有變化的量。只記錄有變化的沒有變化的不需要記錄. 3.快照表：快照表是有時間分區的，每個分區裏面的數據都是分區時間對應的前一天
2020-06-13 08:01:20
原创 shell腳本基本操作一
Shell 腳本簡介 Shell 腳本 （shell script），是一種爲shell編寫的腳本程序。 業界所說的 shell 通常都是指 shell 腳本，但讀者朋友要知道，shell 和 shell script 是兩個不同
2020-06-13 08:01:20
原创 flink常用算子以及window
Flink 窗口種類以及常用算子 flink有以下幾類窗口： Tumbling Windows 滾動窗口長度固定，滑動間隔等於窗口長度，窗口元素之間沒有交疊。 // tumbling event-time windows inpu
2020-06-13 08:01:20
原创 Kylin中使用Api構建cube以及狀態監控腳本
Kylin中使用RESTful API 每日構建cube以及進行狀態監控 1.認證 目前Kylin使用basic authentication。 給第一個請求加上用於認證的 Authorization 頭部。 POST htt
2020-05-27 03:53:18
原创 flink總結
Flink 窗口種類以及常用算子 flink有以下幾類窗口： Tumbling Windows 滾動窗口長度固定，滑動間隔等於窗口長度，窗口元素之間沒有交疊。 // tumbling event-time windows inpu
2020-05-08 13:28:35
原创 Azkaban報錯解決
Azkaban報錯以及解決 說明：使用Azkaban調度執行腳本時遇到的錯誤以及解決辦法 問題一： FAILED: ParseException line 16:36 cannot recognize input near 'el
2020-04-05 22:48:09
3