原创 【數倉】數據倉庫的指標庫(五)

本文要來說說,數倉中的數據指標庫   數倉系列: 【數倉】數據倉庫的思考(一):https://blog.csdn.net/lsr40/article/details/105576047 【數倉】數據倉庫的建設(二):https://bl

原创 【數倉】數據倉庫的數據質量任務監控(四)

我想在本文說說數據質量,ETL任務管理和監控   數倉系列: 【數倉】數據倉庫的思考(一):https://blog.csdn.net/lsr40/article/details/105576047 【數倉】數據倉庫的建設(二):http

原创 【數倉】數據倉庫的元數據管理(三)

看了一些其他文章,有說定義的,有畫圖的,其中也不乏有一些很不錯的文章   數倉系列: 【數倉】數據倉庫的思考(一):https://blog.csdn.net/lsr40/article/details/105576047 【數倉】數據倉

原创 【數倉】數據倉庫的建設(二)

前言: 前文說了一些數據倉庫的基礎概念和模型,本文繼續往下說吧! 【數倉】數據倉庫的思考(一):https://blog.csdn.net/lsr40/article/details/105576047   1、數倉的目標(能完成什麼事情

原创 【數倉】數據倉庫的思考(一)

前言: 對於數倉的概念非常大非常廣泛,而且也並沒有絕對正確的架構,只是有一定的方法論,一定的前人總結留下來的理論,所以我也不知道我這個系列會更多久,會更多少,反正我就把我現在對於數倉的想法記錄下來,以後如果有更深的理解,再說吧~   1、

原创 【shell】shell中循環連續日期

 菜雞一隻,今天快速記錄下shell循環連續日期! 因爲畢竟常遇見重跑的任務,然後啓動的spark任務的入口需要傳入重跑的日期,如果日期畢竟少,其實可以這麼寫:   for date in 20191015 20191016 20

原创 【java】垃圾回收機制與算法

之前看了一些java的垃圾回收機制的文章,感覺全網都有,但是寫的參差不齊,有的寫的超好,有的總覺得怪怪的,所以還是自己整理一番!(如有雷同,純屬抄襲。。。) 哎,“寒冬”啊,大家日子都不好過! 概念: 垃圾回收機制就是當你寫你的jav

原创 【spark】關於spark處理上百T數據清洗過濾的思考

我,菜雞一隻! 本文會通過讀取數據文件,外部傳入參數,處理數據,保存數據,參數設置這幾個點來宏觀的說說我自己對於spark使用中的一些注意點 繼上一次寫文章到現在好久了哦! 工作上,數據的日常需求還是一直有的,然後我自己又想接一接ja

原创 【kettle】獲取數據庫中查詢到或者外部傳入的參數

本人菜雞呀~今天再次記錄幾個kettle的問題! 很早以前,寫過一篇kettle的文章,當時是接手了同事的kettle流程,那時候的我完全就是kettle新人啊(雖然現在我的水平也很菜),因此匆忙的寫下了幾個自己遇見的kettle問題,文

原创 【ES】ES基礎概念和讀寫模型整理(基於6.3版本)

菜雞一隻,本文會記錄ES的基礎概念和讀寫模型  閒話:最近其實說忙也忙,說不忙也不太忙,(jira十幾個需求。。。但是並不是自己一個人努力做就做完的,都是做一部分,然後需要驗證,或者需要其他同事協助的問題)因此在閒下來(等待)的時間裏,

原创 【數據庫】join的用法和場景(包含非等值於非等值)

又好久沒寫文章了~今天來寫寫數據庫join的事情 其實最近在看《長安十二時辰》,講實話蠻好看的,爲此我還用支付寶的積分換了一個月的優酷會員呢! 寫了挺長時間的sql,join這個功能應該說是非常常見,而且非常好用的了,他的實現是將兩部

原创 【java】對字節碼的理解和整理

最近呢,給自己定了些小目標(其實就是列了下近期想要學習的東西一些列表) 其中一個,就是java的字節碼的解析。 說是解析,其實就是研究研究字節碼,並且能看懂一些簡單的字節碼文件。 前言: 我覺得作爲一個java工程師(雖然我領導說我jav

原创 【Flink】Flink的編譯(包含hadoop的依賴)

好久沒寫文章了,手都有點生。 菜雞一隻,如果有說錯的還請大家批評! 最近工作上的事情還是有點忙的,主要都是一些雜活,不幹又不行,幹了好像提升又不多,不過拿人家手短吃人家嘴軟,既然拿了工資就應該好好的幹活,當然前提是需求相對合理的情況嘿嘿~

原创 【java】關於java單例的思考(上)

菜雞一隻,如果有說錯的請大家批評指出,千萬別給我留面子,我也不想寫出誤導新人的文章來!!! 本文來整理整理相對基礎的東西:單例模式   該系列有兩篇文章: 【java】關於java單例的思考(上) :https://blog.csdn.n

原创 【java】關於java單例的思考(下)

承接上文! 【java】關於java單例的思考(上) :https://blog.csdn.net/lsr40/article/details/94195394   -3.靜態內部類模式 該模式也是解決一開始就new對象佔用內存的問題,將