原创 mysql 5.7版本實現row_number()over()分組排序
針對5.7.3的版本,文章一定要看"注意點"部分 一、分組排序 實現如下功能：row_number()over(partition by A order by B) 1、場景描述：每門課程按照分數升序排序。 SELECT a.sid ,
2023-02-23 17:15:33
原创 shell執行SQL腳本:hive -e和hive -f，及案例練習
hive -e “-e”不進入hive的交互窗口執行sql語句，hive -e 後面跟hivesql字符串 bin/hive -e "select id from student;" hive -f “-f”執行腳本中sql語句 bin
2022-11-14 17:24:08
原创 flume自定義攔截器，步驟詳解
文章還沒寫好，哈哈哈。先別看喔-------------------- 一、flume自定義攔截器步驟如下 1）繼承接口：org.apache.flume.interceptor.Interceptor 2）實現接口中的4個抽象方法：初
2022-11-14 17:24:08
原创 mysql實現row_number()over()分組排序
針對5.7.3的版本,文章一定要看"注意點"部分 一、分組排序 實現如下功能：row_number()over(partition by A order by B) 1、場景描述：每門課程按照分數升序排序。 SELECT a.sid ,
2022-11-14 17:24:08
原创 hive自定義UDTF函數，步驟講解
目錄： 一、繼承GenericUDTF抽象類 二、重寫方法initialize() 三、實現抽象方法process() 四、實現抽象方法close() 五、自定義將一行字符串轉多行代碼 UDTF（User-Defined Table-
2022-11-14 17:24:08
原创 hive自定義UDF函數，步驟詳解
目錄 一、自定義UDF函數--計算字符串長度 1、添加pom.xml文件 2、自定義UDF函數，java類 3、打包上傳到liunx 二、創建hive函數 1、hive客戶端，添加jar包 2、創建hive函數 3、測試並查看結果 U
2022-11-14 17:24:08
原创 java 日期相關Date、SimpleDateFormat、Calendar區別與使用
本篇文章主要摘錄了4篇文章的內容，原文在文末 在java中時間類主要有Date、Calendar、SimpleDateFormat，暫時只介紹 java.util.*下的時間類，對於java.sql.下的先不做介紹，文章比較長可以根據自己
2022-11-14 17:24:08
原创 建設方法論onedate：極客數據中臺課程總結
文章大部分內容摘錄自極客數據中臺課程：https://time.geekbang.org/column/article/220290 一、前言 數據開發職業規劃：熟練的使用數據中臺支撐技術體系內的工具，熟悉數據中臺模式下數據研發的流程，對指
2022-11-14 17:24:08
原创 6個步驟實現-數倉數據只加工一次・《數據中臺》課程總結
備註:文章內容借鑑了郭憶老師《數據中臺》課程,想了解更多可以看這個課程哈、 目錄： 一、元數據 1、數據字典 2、數據血緣 3、數據特徵 二、指標管理 1、如何規範化定義指標 三、數據模型 1、我建模的方法 2、理想的數倉模型設計應該具
2022-11-14 17:24:08
原创 hive中UDTF函數explode詳解 + explode與lateral view 3套案例練習
前言:每次使用UDTF函數的時候都要百度，會用但一直一知半解，今天對UDTF函數做一個總結。 目錄： 一、UDTF函數 explode() 講解 二、百度explode()，總會出現lateral view，它們各自的作用是什麼？ 三、
2021-12-18 05:21:32
2
原创 自定義flume攔截器-練習1
參考文章1：Flume 自定義 Interceptor（攔截器） 參考文章2：java靜態內部類和非靜態內部類對外部類屬性的使用 問題1：flume自定義攔截器時，爲什麼要分單event處理，和多個event處理 問題2：靜態內部類，創建外
2021-11-30 00:29:10
原创 flume 3個案例練習
備註：flume採集文件到hdfs還報錯，後續在更新。 自己還是喜歡+適合用寫文章的方式來學習，很就沒更新文章了。加油成爲更好的自己，努力學習、努力賺錢、努力理財 flume是一個分佈式的、高可靠的、高可用的將大批量的不同數據源的日誌數據收
2021-11-27 22:07:23
原创 如何在Excel中按大寫字母將文本分成單獨的列？
文章僅做記錄，方便下次使用 目錄 1、需求 按大寫字母將字段分列，實現下圖結果 2、實現方法 1）編寫VBA代碼，自定義函數 2）使用函數，實現功能：遇見大寫字母則前面空格 3）按空格分開 正文 一、編寫VBA代碼，自定義函數 Spli
2021-10-14 20:55:38
12
原创 Navicat導入Excel文件
記錄：如何使用navicat導入excel文件 轉載自：Navicat導入Excel表格數據 1、查看一下導入的表格，注意第一行是字段名（也可以不要第一行） 2、單擊導入按鈕，然後選擇Excel文件 如果是xlsx格式，則必須是用Exce
2021-07-30 14:53:09
原创 數倉—拉鍊表
視頻鏈接：數倉實戰項目 目錄： 一、緩慢變化維常見解決方案 二、緩慢變化維——拉鍊表 三、拉鍊表技術實現 緩慢變化維指的是：維度表裏面的數據並非是始終不變的，總會隨着時間發生變化 一、緩慢變化維常見解決方案 1、保留原始值 2、改寫屬性
2021-06-16 03:31:37