原创 數據倉庫-元數據淺析
元數據即是數據的數據，是用來描述數據的，即和數據識別，產生，使用這一流向過程相關的直接的間接的所有相關的數據都可以稱之爲元數據，而不單單是數據表相關信息。比如：以大數據數倉常見的架構爲例： 源數據通常通過ETL工具如kettle或can
2020-06-13 18:59:21
1
原创 數據倉庫-數倉是如何反三範式的？
在回答數據庫和數據倉庫的區別時，最常見的回答是數據倉庫反三範式，數據庫遵循三範式。 那麼具體的區別是什麼？下面進行簡單的說明。 數據庫三範式 字段列含義不可分割。 數據庫默認遵循第一範式，不遵循第一範式無法創建表，下面的"進貨"和"銷售"
2020-06-13 18:59:21
原创 Linux Shell腳本中常用的操作
1.獲取當前腳本路徑 2.判讀字符串變量爲空和不爲空 3.獲取日期及相關操作 4.腳本輸入參數指定與判定 5.數組遍歷 6.shell執行結果判斷 7.讀配置文件 8.獲取當前機器IP 9.程序暫停一段時間 10.字符串截取與替換 11.
2020-05-20 21:54:13
原创 Flink SQL自定義TableSource讀取Kudu數據
本文基於Flink1.9，之前文章基於Flink1.6。在Flink的官方文檔中提供了很多connector用於連接外部系統數據源。如果提供的connector不能滿足需要，還可以通過自定義方式定義讀取外部數據源的邏輯。本文的背景就是使用
2020-02-20 21:49:01
4
原创 mysql的表空間結構
這篇文章是自己學習mysql隨手寫的雜記，編輯混亂且不夠嚴謹，請勿參考，謝謝！ 表空間分爲系統表空間和獨立表空間，一般情況下一張表會對應一個獨立表空間。爲了管理表空間，設計了各種類型的頁和鏈表，表空間的管理是非常複雜的。那麼表空間存的是什
2019-10-26 04:17:10
原创 mysql的頁結構
這篇文章是自己學習mysql隨手寫的雜記，編輯混亂且不夠嚴謹，請勿參考，謝謝！ mysql的記錄格式是放在數據頁中的，準確的說是user records部分。一個頁大小爲16KB，數據頁是mysql和磁盤交互的基本單位。mysql出於不同
2019-10-25 15:22:24
原创 mysql的B+樹索引
這篇文章是自己學習mysql隨手寫的雜記，編輯混亂且不夠嚴謹，請勿參考，謝謝！ 以mysql中的innodb引擎爲例，索引是個什麼東西？爲什麼說索引即數據？一個2層B+樹索引最多可以存多少條數據？聚簇索引，二級索引，聯合索引？ 在單個頁中
2019-10-25 15:22:22
原创 mysql數據目錄
這篇文章是自己學習mysql隨手寫的雜記，編輯混亂且不夠嚴謹，請勿參考，謝謝！ mysql數據目錄是放mysql運行中產生數據的地方，也就是數據庫、表、視圖、觸發器等數據。數據庫目錄在什麼位置？可以通過在mysql命令行中輸入：show
2019-10-25 15:22:22
原创 mysql B+樹索引使用要點
這篇文章是自己學習mysql隨手寫的雜記，編輯混亂且不夠嚴謹，請勿參考，謝謝！ 我們知道引入索引是爲了快速查詢，但是往往一個系統或者軟件引入了新的模塊、功能或者組件，雖然豐富了產品特性，但是不可以避免的提升了系統或軟件的複雜性和耦合性。因
2019-10-25 15:22:21
原创 Spring Boot整合Flink
使用spring boot整合flink可以快速的構建起整個應用，將關注點重點放在業務邏輯的實現上。在整合的過程中遇到許多問題，最大的問題是flink流無法訪問spring容器中的類，從而導致空指針異常，解決思路是在流中進行spring
2019-07-05 15:09:56
162
原创 spring boot2.x啓動源碼淺析
spring boot程序啓動入口是： @SpringBootApplication public class ApplicationServer { public static void main(String[] args
2019-06-10 16:03:52
原创 第一個spring boot接口項目開發總結
第一次使用spring boot開發接口項目，對接口使用的技術做了個大概的梳理，細節沒有展開，詳細可參看官網文檔。 1.項目監控：使用spring boot admin server，可以詳細的查看應用運行的內存使用情況，GC情況，磁盤，
2019-05-21 15:14:03
1
原创 IDEA使用總結
以下總結爲自己工作中的IDEA設置，不分順序。 1.代碼跳轉設置 https://blog.csdn.net/u010814849/article/details/76682701/ 2.自己安裝的插件 Alibaba Cloud Too
2019-04-18 15:17:09
原创 linux系統缺包安裝-持續更新
1.輸入man proc，報錯：No manual entry for proc 切換到root用戶下，執行：yum install -y man-pages 2.輸入netstat -anlp|grep 21050，報錯：-bash:
2019-04-18 15:16:38
原创 spring boot admin導致swagger-ui.html無法訪問的解決辦法
spring boot admin版本：2.1.3 swagger2版本：2.7.0 spring boot security版本：2.1.3 問題現象是：spring boot admin可以正常監控了，但是swagger-ui.htm
2019-04-18 02:51:30
11