原创 Python常用基礎語法知識點大全

記得我是數學系的,大二時候因爲參加數學建模,學習Python爬蟲,去圖書館借了一本Python基礎書,不厚,因爲有matlab和C語言基礎,這本書一個星期看完了,學完後感覺Python入門很快,然後要開始學爬蟲和矩陣計算,學習一下對應的包

原创 Python進程管理神器——Supervisor

一、簡介 Supervisor 是一款 Python 開發的進程管理系統,允許用戶監視和控制 Linux 上的進程,能將一個普通命令行進程變爲後臺守護進程,異常退出時能自動重啓 詳細介紹查閱:Supervisor Introduction

原创 數據倉庫—開發規範

數據倉庫系列文章(持續更新) 數倉架構發展史 數倉建模方法論 數倉建模分層理論 數倉建模—寬表的設計 數倉建模—指標體系 數據倉庫之拉鍊表 數倉—數據集成 數倉—數據集市 數倉—商業智能系統 數倉—埋點設計與管理 數倉—ID Mappin

原创 數倉建模—OneID

今天是我在上海租房的小區被封的第三天,由於我的大意,沒有屯喫的,外賣今天完全點不到了,中午的時候我找到了一包快過期的肉鬆餅,才補充了1000焦耳的能量。但是中午去做核酸的時候,我感覺走路有點不穩,我看到大白的棉籤深入我的嘴裏,我竟然以爲是喫

原创 Spark—GraphX編程指南

Spark系列面試題 Spark面試題(一) Spark面試題(二) Spark面試題(三) Spark面試題(四) Spark面試題(五)——數據傾斜調優 Spark面試題(六)——Spark資源調優 Spark面試題(七)——Spar

原创 數據倉庫—數據集成

這幾天上海疫情嚴重了,居家辦公了幾天,後面如果去公司上班需要核酸證明,今天去做了個核酸,竟然是桶鼻子,臥槽。不過說實話,捅鼻子也沒啥,這酸爽猶如靈魂出竅,全身通透,讓人飄飄然而不知所措。做一次管3天,後面可能還要去做,其實我在想傳說中的肛拭

原创 數倉建模—ID Mapping

早晨起牀的時候,發現自己尿分叉,我沒有多想,簡單洗洗就匆忙出門。路過早餐店,我看到師傅熟練的拉扯一小塊麪糰,拉至細長條,然後放入油鍋中,不一會功夫,一根屎黃色的油條便出鍋了,賣相不錯。我在想,小到炸屎黃色的油條,大到學習,其實都是一個熟能生

原创 數倉建模—埋點設計與管理

數據倉庫系列文章(部分已出,持續更新) 數倉架構發展史 數倉建模方法論 數倉建模分層理論 數倉建模—寬表的設計 數倉建模—指標體系 數據倉庫之拉鍊表 數倉—數據集成 數倉—數據集市 數倉—商業智能系統 數倉—埋點設計與管理 數倉—ID M

原创 數倉建模—數據集市

數據倉庫系列文章(持續更新) 數倉架構發展史 數倉建模方法論 數倉建模分層理論 數倉建模—寬表的設計 數倉建模—指標體系 數據倉庫之拉鍊表 數倉—數據集成 數倉—數據集市 數倉—商業智能系統 數倉—埋點設計與管理 數倉—ID Mappin

原创 Hive之同比環比的計算

Hive系列文章 Hive表的基本操作 Hive中的集合數據類型 Hive動態分區詳解 hive中orc格式表的數據導入 Java通過jdbc連接hive 通過HiveServer2訪問Hive SpringBoot連接Hive實現自助取

原创 數據倉庫—數據治理

目錄數據治理統一流程參考模型爲什麼要治理數據質量層次不齊數據交換和共享困難缺乏有效的管理機制存在數據安全隱患發現問題嚴重滯後影響不清晰DMBOK的數據治理框架數倉治理治理的分類粗治理細治理數據源治理數據源管理數據源監控數據同步數倉模型治理數

原创 第10講:Flink Side OutPut 分流

Flink系列文章 第01講:Flink 的應用場景和架構模型 第02講:Flink 入門程序 WordCount 和 SQL 實現 第03講:Flink 的編程模型與其他框架比較 第04講:Flink 常用的 DataSet 和 Dat

原创 第09講:Flink 狀態與容錯

Flink系列文章 第01講:Flink 的應用場景和架構模型 第02講:Flink 入門程序 WordCount 和 SQL 實現 第03講:Flink 的編程模型與其他框架比較 第04講:Flink 常用的 DataSet 和 Dat

原创 第08講:Flink 窗口、時間和水印

Flink系列文章 第01講:Flink 的應用場景和架構模型 第02講:Flink 入門程序 WordCount 和 SQL 實現 第03講:Flink 的編程模型與其他框架比較 第04講:Flink 常用的 DataSet 和 Dat

原创 第07講:Flink 常見核心概念分析

Flink系列文章 第01講:Flink 的應用場景和架構模型 第02講:Flink 入門程序 WordCount 和 SQL 實現 第03講:Flink 的編程模型與其他框架比較 第04講:Flink 常用的 DataSet 和 Dat