原创 6- ABC遷移大數據2
1.存儲過程遷移方法： 存儲過程的遷移我們直接用單個的HQL腳本里進行邏輯的遷移，需要注意的點是，在過程裏有一些不需要落地的臨時表（先delete再insert），以及最終的結果表需要落地（先delete再insert）。如下圖： 在H
2020-06-28 02:55:26
原创 2-plsql開發工具安裝
本課主要是安裝oracle的開發工具PLSQL Developer 12 鏈接：https://pan.baidu.com/s/1PSVW3LYkAIMjADqVD4G3Ig 提取碼：kdxz 安裝步驟就不一步步截圖了，大家默認的點下一步
2020-06-28 01:51:13
原创 3- ABC模型之資源
資源就是公司的成本，財務採用記賬方式錄入公司的成本項，按科目細分到各個費用項，但我們的ABC項目在分析和應用時，並不一定需要這麼細粒度，所以就需要做一個歸類。如何歸類，就需要跟據公司的費用花費形和管理方式來定義了，總體可以按下面方法來歸類
2020-06-28 01:51:13
原创 1-oracle環境準備
此課程是oracle開發的第一課，我們先從環境的準備開始。 1：oracle的下載和安裝 大家登錄下面網頁下載安裝文件 https://www.oracle.com/technetwork/database/enterprise
2020-06-28 01:51:13
原创 7-hive優化
1：按需取數 正確腳本： select id from t_tab; 錯誤腳本： select * from t_tab; 所以查詢數據如果只需要一兩個字段，儘量不要用*,如果表爲parquet列式存儲，能很好的體現性能。 2：在獲取
2020-04-06 15:00:15
原创 1-如何診斷公司經營情況
如何診斷一家公司的經營情況，主要關注的是收入、成本、利潤、質量這四大支柱，再對這四大支柱的細分，以及它們的互相關聯。 收入：公司的主營業務或其他營業收入，收入高層主要觀注的是當月目標達成率，累計目標達成率，以及跟行業平均增長
2020-04-06 15:00:15
原创 5- ABC遷移大數據1
從這部份開始，我們整體從ABC的ORACLE環境，遷移到大數據的HIVE環境，並且讓系統自動調度，定時進行數據的計算。 本節我們遷移基礎表的數據，主要是構建我們的ODS數據同步，另一個是邏輯的遷移，主要是從ORACLE的語法，遷移到HIV
2019-09-03 05:04:11
1
原创 3- hive語法
1.創建內部表和外部表。 內部表和外部表的區別是，內部表在刪除表後，會對錶存儲所在的數據目錄也做刪除操作，外部表刪除後則不會刪除數據所在的目錄。 外部表語法： drop table if exists t_abc_dept; create
2019-08-29 05:56:42
原创 4- sqoop語法
Sqoop的安裝很簡單，直接解壓配置相關hdfs信息，另外一個重要的是與關係庫的驅動包，如果是oracle則要ojdbc14.jar，classes12.jar包，如果是mysql則要mysql-connector-java-5.1.32
2019-08-29 05:56:41
13
原创 2- hive元數據與hadoop的關係
大數據平臺組件的安裝，大家可以先在網上搜索，後期我會出一個安裝過程圖解，並支持HA的類生產環境的安裝。 Hive是構建在hadoop平臺上的大數據倉庫，方便大數據平臺的數據讀寫和離線計算。爲了方便管理hive自己有一套元數據的管理數據庫，
2019-08-06 04:44:59
原创 1- hive和sqoop組件介紹
Hive:Facebook爲了解決海量日誌數據的分析而開發了Hive，後來開源給了Apache軟件基金會。Hive是一種用類SQL語句來協助讀寫、管理那些存儲在分佈式存儲系統(hadoop)上大數據集的數據倉庫軟件。 Hive的特點： 1
2019-07-30 04:12:02
原创 9- ABC模型之數據分析和應用
ABC模型計算好成本數據後，我們需要應用成本數據，在之前，我們有提到過項目的目標。 一：利潤分析，在沒有ABC成本之前，我相信要分析產品的利潤，流向的利潤，客戶的利潤是做不到的，哪現在我們來分析下這幾個維度的利潤。 1：產品利潤分析：
2019-07-18 03:41:22
1
原创 10-數據分析和應用體系化
在上次的數據分析中，我們的數據分析都是一個個很零碎的看數方式，沒有一個整體的思想，如何指導我們一步步的深挖原因，找到問題點。比如在上次我們只是單獨從客戶、流向、作業來看成本，如果下次用戶想到看客戶+流向，或者流向+作業一起來看呢，此時我們
2019-07-18 03:41:22
原创 8- ABC模型之分攤（檢測）
在成本的分攤過程中，我們需要保證2件重要的事： 一：每步的分攤過程保證正確無誤，分攤前和分攤後的成本要相等，此時我們需要做些檢測機制，對每步分攤建立5種子過程狀態， 1：理論分攤金額，在分攤前確認的成本。 2：實際分攤金額，在分攤過程中，
2019-07-08 05:40:19
原创 7- ABC模型之分攤（實現）
分攤：就是對成本的攤銷過程，依據動因佔比進行分攤。分攤過程是有過程依賴的，即需要做完RR分攤才能做RA,RO分攤。如下圖是一個正規的分攤過程。不過我們的案例省掉了RO分攤過程。 在上圖中，大家需要理解幾個字母的意思。 R：資源（成本）
2019-07-01 05:34:05