原创 （個評）Big Data - 雲中數據湖組件 OSS(對象存儲服務)與 AWS S3(Amazon Simple Storage Service)
雲中數據湖組件 （） 1、AWS S3對象存儲 2、Azure Bold塊存儲 (ADLS的一個功能) 3、Ali 雲 OSS（對象存儲服務） 對於應用者來說，類似的東西，只是不同的雲平臺，不同的組件 個人評測 ： Azure的ADL
2020-07-07 12:56:45
原创 AWS Big Data - Athena presto和hive適用場景
presto和hive的一些對比 1.本質區別 Hive是把一個查詢轉化成多個MapReduce任務，然後一個接一個執行。執行的中間結果通過對磁盤的讀寫來同步。然而，Presto沒有使用MapReduce，它是通過一個定製的查詢
2020-07-04 01:16:25
1
原创 阿里雲Big Data - dataworks和MaxCompute之間的關係與區別
dataworks和MaxCompute之間的關係與區別 MaxCompute做數據存儲和數據分析處理， Dataworks是集成了數據集成、數據開發調試、作業編排及運維、元數據管理、數據質量管理、數據API服務等等功能的大數據開發IDE
2020-07-03 00:12:53
原创 阿里雲Big Data - dataworks和dataphin兩款產品的區別
區別1：產品功能不同 1、Dataworks，在阿里集團內部爲大家所熟知的部分是D2，在阿里雲則是數加平臺的主體-數據工廠。DataWorks（數據工場）具備全棧數據研發能力（數據集成與開發、 生產運維調度、離線與實時分析、數據質量治理與
2020-07-03 00:12:53
9
原创 阿里雲Big Data - 漫談數據倉庫之維度建模
漫談數據倉庫之維度建模 下面的內容，是筆者在學習和工作中的一些總結，其中概念性的內容大多來自書中，實踐性的內容大多來自自己的工作和個人理解。由於資歷尚淺，難免會有很多錯誤，望批評指正！ 概述 數據倉庫包含的內容很多，它可以包括架構、建模和
2020-07-03 00:12:53
1
原创 阿里雲Big Data - |分層| ODS& DWD& DWS& ADS| 行爲數倉
有基礎瞭解大致情況， 詳細請參考原文 DW ：data warehouse 翻譯成數據倉庫DW 數據分層，由下到上爲 DWD,DWB,DWSDWD：data warehouse detail 細節數據層，有的也稱爲 ODS層，是業
2020-07-02 18:46:33
原创 阿里雲Big Data - 阿里雲大數據利器Maxcompute學習之-假如你使用過hive
記錄一下關鍵內容 詳細內容請參照原文 https://yq.aliyun.com/articles/86574 如果您是一個大數據開發工程師並且使用過hadoop的hive框架，那麼恭喜您，阿里雲的大數據計算服務-Maxcompute
2020-07-02 18:46:33
原创 阿里雲Big Data - 如何優雅地設計數據分層 ODS DW DM層級
數據倉庫更多代表的是一種對數據的管理和使用的方式，它是一整套包括了etl、調度、建模在內的完整的理論體系。現在所謂的大數據更多的是一種數據量級的增大和工具的上的更新。 兩者並無衝突，相反，而是一種更好的結合。 話說，單純用用Hadoop、
2020-07-02 18:46:32
原创 (驗證過)centos7系列安裝vnc服務並授權用戶訪問
https://blog.51cto.com/shaonian/2090283 今天心情不錯 寫個文章把，好久沒寫了，今天無聊看了半天內涵段子笑了半天，也每人找 我玩，就寫了一個博客，希望你們能看懂，不懂的可以聯繫我。
2020-06-15 19:33:23
原创 （驗證過）使用Win10系統遠程桌面連接CentOS7系統方法 CentOS7使用GNOME Desktop可視化桌面
1.CentOS安裝桌面 在安裝系統時如果沒有選用最精簡安裝的話，可以在裝系統時候默認安裝GNOME，如果忘記此步驟了可以使用 # yum -y groups install "GNOME Desktop" # startx
2020-06-15 19:33:12
原创 BigData - " 時 空 " 思想 （待續中）
思想 : 時間和空間的平衡一直都是軟件開發過程中永恆的話題 架構師的設計中 一直都有 計算時間 和 存儲空間 的平衡工作 在大數據領域裏面，這個思想尤爲突出。 實例 舉例說明幾種時空思想的利用實例 1， 壓縮 壓縮的本質就是利用C
2020-06-15 19:33:12
原创 悟 - 軟件工程 各種架構理解
Service Mesh 就是爲了解耦*（數據層 和 控制層），有多抽象出來了一層 軟件架構裏面有句俗語，任何事情是沒有再抽象出一層解決不了的，如解決不了，那就再多抽象出一層 Service less Serverless（無
2020-06-15 19:33:12
原创 悟 - 帶頭大哥 應該擁有的關鍵行爲，思想
做事 1，海納百川，有容乃大 盡最大能力的發揮出 隊員 的能力及優點 2，讓利 對外，不攬功；對內，讓利給隊員； 3，責任 對外，一切責任一身肩；對內，劃分好責任，獎罰分明。 考慮問題 1：換位思考是基礎 2：從時間和空間的角度去
2020-06-15 19:33:12
原创 數據治理 - 數據倉庫 解釋
一、數據倉庫 數據倉庫是一個面向主題的、集成的、相對穩定的、反應歷史變化的數據集合，用於支持管理決策。 l 面向主題：傳統的數據庫是面向事務處理的，而數據倉庫是面向某一領域而組織的數據集合，主題是指用戶關心的某一聯繫緊密的集合。 l 集成
2020-06-15 19:33:12
原创 現在真是簡單至極了 - SpringBoot之使用JPA完成簡單的rest api
一、 前言 在前面我們已經知道在springboot中如何使用freemark與thymeleaf之類的視圖模板引擎去渲染我們的視圖頁面，但是沒涉及跟數據庫交互的東西，所以今天在這裏我們將介紹了一下如何在springboot中通過spri
2020-06-15 19:33:12