我是2019年中旬知道數據中臺的，從那時開始關注一些關於數據中臺的文章，結合自己的理解做出的實踐，Magnet就是這樣誕生的，沒有任何干擾，做自己想做的事。
1、什麼是數據中臺？
數據中臺的概念是最早由阿里巴巴首次提出，是爲了應對像雙十一這樣的業務高峯、應對大規模數據的線性可擴展問題、應對複雜業務系統的解耦問題，而在技術、組織架構等方面採取的一些變革，其本質上還是一個平臺，阿里稱之爲“共享服務平臺（Shared Platform as Service，SPAS）”。SPAS採用的是基於面向服務的架構SOA理念的 “去中心化”的服務架構，所有的服務都是以“點對點”的方式進行交互。阿里之所以選擇“去中心化”的分佈式服務架構，主要是考慮到擴展性。
這是在知乎上找到的定義，從上面來看雲山霧罩的，我是沒有看懂，我們再來看一下數據中臺的起源，說不定能找到。
中臺的靈感來源於芬蘭的小公司Supercell，這家公司僅有300名員工，卻接連推出爆款遊戲，是全球最會賺錢的明星遊戲公司。
Supercell開創了中臺的“玩法”，並將其運用到了極致。這家看似很小的公司，設置了一個強大的中臺，用以支持衆多的小團隊進行遊戲研發。這樣一來，各個團隊就可以專心創新，不用擔心基礎卻又至關重要的技術支撐問題。
這樣說就簡單多了，我的理解就是提供強大的公共平臺支撐來自不同需求的業務。
2、數據中臺的構成
- 數據倉庫：用來存儲數據的，結構性數據、非結構性數據等，還有離線數據和實時數據等。
- 大數據中間件：包含了大數據計算服務、大數據研發套件、數據分析及展現工具。
- 數據資產管理：按照阿里的體系應該分爲垂直數據、公共數據和萃取數據3層。
3、Magnet
Magnet屬於大數據中間件
Magnet簡單演示
Magnet的目標是統一接口在不同平臺使用不同計算引擎處理數據。
執行環境：java 8
示例：鏈接: https://pan.baidu.com/s/1b_GUFdfe9nPaJOo2iqFWHw 提取碼: fivd
lib：鏈接: https://pan.baidu.com/s/17gGrNBZTc5jIrJwlcRd-Nw 提取碼: mxst