原创 TopN，窗口函數（row_number, rank, dense_rank）實戰
（求TopN）求出每種愛好中，年齡最大的兩個人（姓名，愛好，年齡） 四個字段的意思： id，姓名，年齡，愛好 表名topn 字段id, name, age, favors 1,ngxiaoming,45,a-c-d-f 2,hua
2020-07-05 01:12:38
原创 informatica增量抽取
目錄1.需求2.操作3.測試 1.需求 將ods_cust_info表抽取到edw層，當表中有新增記錄，只抽取新增記錄，而不全表重新執行抽取。 2.操作 1.導入源表：從oltp用戶下導入ods_cust_info表。 2.定義
2020-07-05 01:12:38
6
原创 pandas-軸axis理解
目錄 之前寫了一篇關於numpy的axis=？的理解，可以翻看numpy-軸axis理解。 其實pandas中的axis與numpy一樣，以二維數組爲例： axis = 0代表高維在變，低維不變，即[0][0]、[1][0]、[
2020-07-05 01:12:28
原创 Oracle基本操作4-存儲過程
目錄存儲過程存儲過程的參數--in，默認可省略存儲過程的參數--out存儲過程的參數--in out 存儲過程 create [or replace] procedure 實例名[變量 in/out/in out數據類型] as
2020-07-05 01:12:28
原创 informatica快速上手實例操作
目錄1.目標2.創建EDW用戶3.info的客戶端介紹4.打開R客戶端，創建文件夾5.打開D客戶端，定義源表、目標表和創建映射6.打開W客戶端，創建任務和工作流7.M客戶端，工作流調度監控 1.目標 將scott用戶下的emp表
2020-07-05 01:12:28
13
原创 mysql語法-日期時間函數
目錄1. 獲取系統日期、時間1.1 now()1.2 sysdate()1.3 curdate()1.4 curtime()2. 日期、時間相減2.1 datediff()2.2 timediff()3. 日期、時間運算函數3.1
2020-07-05 01:12:28
原创 自連接，窗口函數（sum、avg、max、min）實戰
採用自連接和窗口函數兩種方法解題： 求每個用戶截止到每月爲止的當月訪問次數、最大單月訪問次數、累計到該月的總訪問次數。 三個字段的意思： 用戶名，月份，訪問次數 表名visits 字段id, vmonth, pv 數據： A,20
2020-07-05 01:12:28
原创 informatica組件操作
目錄1.需求一1.2 使用Lookup組件1.3 使用sort排序組件2.需求二2.1 filter過濾器組件3.需求三3.1 存儲過程轉換組件3.2 序列生成器組件seq3.3 彙總器轉換組件aggregator4.需求四4.1
2020-07-05 01:12:28
2
原创 pandas-分組聚合（agg、transform、apply）理解
目錄1. 示例數據2. agg3. transform4. apply 1. 示例數據 2. agg agg返回的是分組求和後的標量。 3. transform transform返回的是分組求和後的原dataframe的
2020-07-05 01:12:28
原创 informatica同構與異構
目錄1.同構需求1.1 將emp表和dept表進行內連接1.2 將emp表和dept表進行右連接2.異構需求2.1 使用oracle的emp表和mysql的dept表進行連接3.同構與異構總結 1.同構需求 1.1 將emp表和
2020-07-05 01:12:28
3
原创 電商用戶畫像python實戰
目錄1.我認爲的用戶畫像2.某電商用戶畫像分析2.1 分析目的2.2 數據說明2.3 分析思路2.4 分析過程2.4.1 用戶基本屬性分析2.4.1.1 數據清洗2.4.1.2 男女佔比分析2.4.1.3 年齡段佔比分析2.4.1
2020-07-05 01:12:28
原创 mysql使用between and在處理時間範圍時的區間邊界問題
前提： 基於emp表，我想獲取入職日期在1980-12-17到1981-02-22的人員信息。 使用between…and…時發現無法獲取到日期爲1981-02-22的人員記錄。 between是左右閉區間，爲什麼無法獲取右邊
2020-07-05 01:12:28
原创 hive窗口函數之ntile、lag、lead、first_value、last_value
目錄1.樣例數據2.ntile(n)2.1實例3.lag、lead、first_value、last_value3.1實例3.1.1問題1：如果想取分組後pv最後一個值3.1.2問題2：如果不排序會怎樣？ 其他窗口函數可翻看：
2020-07-05 01:12:28
原创 matplotlib繪圖原理
目錄1. 繪圖原理2. 繪圖區域設置2.1 add_subplot方法2.2 subplot方法2.3 subplots方法3. 刻度設置 1. 繪圖原理 2. 繪圖區域設置 當我們需要在一個畫布figure上畫多個不同的圖形
2020-07-05 01:12:28