原创 數倉建模—建模工具PdMan(CHINER)介紹
數據倉庫系列文章(持續更新) 數倉架構發展史 數倉建模方法論 數倉建模分層理論 數倉建模—寬表的設計 數倉建模—指標體系 數據倉庫之拉鍊表 數倉—數據集成 數倉—數據集市 數倉—商業智能系統 數倉—埋點設計與管理 數倉—ID Mappin
2022-04-16 13:35:24
原创 第05講：Flink SQL & Table 編程和案例
Flink系列文章 第01講：Flink 的應用場景和架構模型 第02講：Flink 入門程序 WordCount 和 SQL 實現 第03講：Flink 的編程模型與其他框架比較 第04講：Flink 常用的 DataSet 和 Dat
2022-01-26 13:35:15
原创 Hive實戰—時間滑動窗口計算
關注公衆號：大數據技術派，回覆: 資料，領取1024G資料。 目錄時間滑動計算外部調用實現時間循環自關聯實現滑動時間窗口擴展基於自然周的的滾動時間窗口計算總結 時間滑動計算 今天遇到一個需求大致是這樣的，我們有一個業務涉及到用戶打卡，用
2021-12-24 13:00:32
2
原创 數倉建模—指標體系
關注公衆號：大數據技術派，回覆資料，領取1024G資料。 目錄指標體系指標建設過程中遇到的問題指標建設方法論北極星指標人貨場指標體系OSM+UJM 模型OSM+ AARRR海盜模型指標分級方法指標的構成指標分類簡單計數型指標複合型指標基
2021-12-21 13:00:29
原创 Hive實戰UDF 外部依賴文件找不到的問題
目錄關於外部依賴文件找不到的問題爲什麼要使用外部依賴爲什麼idea 裏面可以運行上線之後不行依賴文件直接打包在jar 包裏面不香嗎學會獨立思考並且解決問題繼承DbSearcher讀取文件傳入字節數組總結 關注公衆號：大數據技術派，回覆“
2021-12-16 13:01:05
3
原创 Flink Exactly-once 實現原理解析
關注公衆號：大數據技術派，回覆"資料"，領取1024G資料。 這一課時我們將講解 Flink “精確一次”的語義實現原理，同時這也是面試的必考點。 Flink 的“精確一次”處理語義是，Flink 提供了一個強大的語義保證，也就是說在任
2021-12-13 13:01:17
原创 數倉建模—寬表的設計
寬表的設計 其實寬表是數倉裏面非常重要的一塊，前面我們介紹過了維度表事實表，今天我們介紹一下寬表，前面我們說過了數倉是分層的，這是技術進步和時代變化相結合的產物，數倉的分層式爲了更好地管理數倉以及更加高效地進行數據開發。 寬表主要出現在dw
2021-12-02 13:00:42
原创 Hive處理Json數據
Json 格式的數據處理 Json 數據格式是我們比較常用的的一種數據格式，例如埋點數據、業務端的數據、前後端調用都採用的是這種數據格式，所以我們很有必要學習一下這種數據格式的處理方法 準備數據 cat json.data {"movie"
2021-12-01 13:00:31
原创 Flink 是如何統一批流引擎的
關注公衆號：大數據技術派，回覆“資料”，領取1000G資料。 本文首發於我的個人博客：Flink 是如何統一批流引擎的 2015 年，Flink 的作者就寫了 Apache Flink: Stream and Batch Process
2021-11-29 13:00:31
原创 Spark SQL知識點與實戰
Spark SQL概述 1、什麼是Spark SQL Spark SQL是Spark用於結構化數據(structured data)處理的Spark模塊。 與基本的Spark RDD API不同，Spark SQL的抽象數據類型爲Spark
2021-11-23 13:00:31
1
原创 Spark SQL知識點大全與實戰
Spark SQL概述 1、什麼是Spark SQL Spark SQL是Spark用於結構化數據(structured data)處理的Spark模塊。 與基本的Spark RDD API不同，Spark SQL的抽象數據類型爲Spark
2021-11-22 13:00:35
原创 Spark面試題（八）——Spark的Shuffle配置調優
Spark系列面試題 Spark面試題（一） Spark面試題（二） Spark面試題（三） Spark面試題（四） Spark面試題（五）——數據傾斜調優 Spark面試題（六）——Spark資源調優 Spark面試題（七）——Spar
2021-11-19 13:00:44
原创 Spark面試題（七）——Spark程序開發調優
Spark系列面試題 Spark面試題（一） Spark面試題（二） Spark面試題（三） Spark面試題（四） Spark面試題（五）——數據傾斜調優 Spark面試題（六）——Spark資源調優 Spark面試題（七）——Spar
2021-11-19 13:00:34
原创 Spark面試題（六）——Spark資源調優
Spark系列面試題 Spark面試題（一） Spark面試題（二） Spark面試題（三） Spark面試題（四） Spark面試題（五）——數據傾斜調優 Spark面試題（六）——Spark資源調優 Spark面試題（七）——Spar
2021-11-17 13:00:32
原创 Spark面試題（五）——數據傾斜調優
Spark面試題系列 Spark面試題（一） Spark面試題（二） Spark面試題（三） Spark面試題（四） Spark面試題（五）——數據傾斜調優 Spark面試題（六）——Spark資源調優 Spark面試題（七）——Spar
2021-11-16 13:00:25