這幾年，“中臺戰略”概念像是一把火，“燒遍”國內互聯網。而在業界，關於中臺的實踐並不多，尤其是數據中臺。何爲數據中臺？數據中臺建設面臨着哪些挑戰？它會帶來哪些收穫？…
帶着這些疑惑，InfoQ 記者採訪了 ArchSummit 全球架構師峯會講師網易雲音樂數據智能部數據開發專家朱一飛。作爲國內知名音樂平臺，網易雲音樂有 8 億用戶。不過，它面臨的挑戰在於，一方面各個業務單元在 8 億用戶基數上積累海量的數據，另一方面，業務部門基於發展需要提出大量數據需求，並且在數據質量、數據共享、實時化方面的要求越來越高。爲解決這些問題，網易雲音樂搭建了自己的數據中臺體系，且受益匪淺。
2012 年加入網易雲音樂初創團隊，朱一飛是一名“土生土長”的網易雲音樂技術人。隨着公司不斷髮展，他先後負責過搜索、音頻識別後端架構。2016 年，朱一飛開始帶領數據團隊，經歷了數據團隊業務組建到平臺建設，再到近一兩年推進中臺體系建設。
何爲數據中臺？
雖然當前關於中臺的討論已經很火熱，但朱一飛認爲數據中臺是以數據驅動業務創新爲目標，具備靈活機動快速反應特徵的技術與組織能力體系建設。這裏面有三個基本元素：
- 目標。中臺的最終目的是解決業務問題；
- 靈活快速。能不能快速解決業務訴求是衡量數據中臺的重要標準。說到底，建設中臺是爲了用；
- 體系化。n 支游擊隊湊在一起成不了集團軍，因而缺乏強大的戰鬥力。關於技術體系、組織架構，需要有完整、嚴謹和深入的思考。
數據中臺建設的背景和訴求
據悉，網易雲音樂的數據團隊最初是一支業務開發團隊，其大部分工作都在解決業務需求。後來，團隊慢慢發現平臺工具層面存在諸多瓶頸。因此，團隊發起爲期 2 年左右的平臺化建設，基本搭建起底層的技術基礎設施。
在朱一飛看來，隨着網易雲音樂的創新發展，尤其是產品矩陣建立後，如何快速完整地滿足業務對數據的訴求依然有很大的提升空間。
“除底層工具建設外，我們發現還需要在平臺與業務中間“鋪設”一箇中間層，確保團隊能理解業務目標而不是躲在後臺的技術領域自娛自樂。同時，我們還要快速跟上各產品發展方向的變化，並且努力將試錯成本降到最低。因此，我們反過來又去思考平臺體系還有哪些不完備的地方，組織架構還需要進行哪些調整。”他說。
而團隊對於數據中臺建設的訴求，主要分爲兩部分：
一是面向過去看要解決的問題，其中的核心是整個數據鏈路的標準化（包括方法論和工具兩個層面，細化到鏈路的各個環節有不同的具體目標），以及如何去推動這套標準在所有相關業務團隊的落地。
二是面向未來要爲業務提供什麼樣的驅動力。團隊要以什麼樣的形式提供數據服務，以及團隊應該是什麼樣的組織模式，從而跟業務團隊保持高效協同。
面臨的挑戰
據朱一飛介紹，團隊面臨的挑戰是在業務需求響應與體系建設上如何取得更好的平衡。“解決單一問題總是相對簡單的，相信很多兄弟團隊都深有體會”。
他表示，“雖然目前網易雲音樂的數據中臺建設取得一定進展，但我們還是認爲長期處在中臺建設的’初級階段‘。”
在整個數據中臺建設中，他們需要不斷做出權衡（trade off）：
- 主幹問題優先，考慮 ROI，比如數倉標準化、埋點規範化、指標口徑統一等問題如果在產品初期不落地，則積重難返，而且大大消耗團隊的精力。所以，這類問題，他們一般會在新產品場景優先去落地。
- 業務核心項目優先。核心的業務項目（比如雲音樂中的增長項目）其實是中臺服務的觸點，如果錯過了，以後合作接入就困難重重。因此，這類項目，他們一定會想辦法先推動落地，再去考慮後續優化，體系化改造。
- 現階段，他們並不追求一套大而全的體系。
據悉，網易雲音樂的業務場景，從橫向看，有音樂、直播、K 歌等產品線，從縱向看，包括增長、營收、平臺等業務職能線。雖然網易雲音樂的業務線和團隊衆多，“但我們的中臺體系實際上是在同一套規範和標準下逐步接入業務的，而非反過來面向業務去設計多種架構”。這中間存在一些需要適配的地方。總的來說，其目標是儘可能抽取更多的共性。
朱一飛坦承，“想實現這一點並不簡單，網易雲音樂本身產品交互層面相對其他產品的複雜性，獨特的賬號體系都對我們提出了挑戰。”
另一方面，在數據與業務結合的中間層，即中臺賦能業務的部分，團隊的靈活性會高一些，比如針對市場的新增目標，或會員的營收目標。“我們會單獨組建團隊專門搭建針對性的業務數據服務及產品，提供一站式解決方案，類似於一支快速反應部隊能隨時快速解決戰鬥。”他說。
網易雲音樂的數據中臺架構
據朱一飛介紹，網易雲音樂數據中臺架構包含幾個層：
最底層——基礎設施層
基礎設施層包括資源環境和平臺工具兩部分：資源環境是依賴網易杭州研究院提供的大數據集羣、容器化環境、底層儲備組件等。平臺工具主要是自研的提供離線、實時、算法三大方面開發能力的一站式開發環境。
第二層是數據層
數據層即網易雲音樂的 OneData，包括元數據中心、標準化數倉、數據地圖、統一指標體系、數據安全中心和保障這套體系的數據質量管理中心。
第三層是服務層
服務層即網易雲音樂的 OneService。它提供不同層級和粒度的數據 API，包括從最底層的任務執行調度能力，到最面向應用的人羣圈定的各類服務能力。而服務中的公共部分，包括權限 & 稽覈模塊、RPC 框架、服務發現等都是依託網易雲音樂技術中心的統一框架。
最上層是產品層
如前文所述，他們組建了一支快速反應部隊，針對一個個核心業務問題（增長、營收、版權）搭建了對應數據產品，實現從業務流程、信息採集、數據洞察到 ROI 評估再到業務流程的完整閉環。能夠實現快速反應，主要是因爲依賴上游的統一數據服務以及產品對應的統一系統框架。
網易雲音樂數據中臺的具體實踐
數據中臺的整個實踐過程，大致可分爲三個階段：
階段一：“史前時代”
這個時期屬於數據團隊大幹快上的階段，他們主要的工作模式是逢山開路，遇水搭橋，大量支持業務需求。同時，他們發佈了數倉 1.0、用戶畫像和 DMP 系統、OLAP 分析平臺，開發了大量報表。
在這期間，隨着對業務的理解變得更深刻，同時網易雲音樂快速發展積累的數據體量帶來很多挑戰，“我們做了相當多的基礎設施改造，比如數據層面對埋點體系的梳理、平臺層面搭建了底層計算能力（實時、算法）等”。
階段二：數據中臺 beta 階段
2018 年底到 2019 年，爲支持業務擴張，他們從目標、體系、組織結構對團隊進行了梳理，確定了中臺建設思路（這也契合同期網易雲音樂整體技術、業務雙中臺戰略）。
團隊被重新劃分爲平臺、數據、產品三條線，重點做了兩件事：
- 整合升級。橫向統一全域的數據，將之前的算法、廣告、業務數據全部納入進來。縱向，建立對整個 pipeline 的管理體系。
- 探索數據中臺與業務的合作模式。“這個期間，我們也嘗試多走一步，提供一站式的業務與數據結合的產品。核心是想獲得中臺在業務的落腳點，同時通過拿到一些業務結果讓合作團隊看到並認可數據中臺的價值。”朱一飛說。
階段三：數據中臺 1.0
在這個階段，主要有兩個目標：
- 標準化。通過標準化，他們希望解決質量、效率和成本的問題。在標準化數倉重構、統一指標體系、統一 OLAP 分析平臺、數據技術中臺、數據資產管理等項目，大部分取得階段性成果。
- 合作賦能。在前臺業務賦能方面，他們一方面尋找更多中臺接入的觸點，另一方面也會嘗試將部分成熟前臺產品重新交到業務團隊手裏，防止戰線過長，始終保持靈活機動的組織模式，更多通過賦能解決業務問題（扶上馬，送一程）。
數據中臺收益
朱一飛說："從結果看，首先，我們從單一解決數據的問題轉變爲解決’人‘的問題。"從業務視角看，他們不光只是報表數據的提供者，而是真正參與到業務決策，解決業務問題。他們在多個團隊實現從業務流程、信息採集、數據洞察到 ROI 評估再到業務流程的完整閉環，包括增長團隊、版權團隊、音樂人團隊、會員營收團隊等。
其次，從體系的角度衡量，團隊在效率和質量上得到大幅提高，“支撐起我們難以想象的工作量”。比如，他們的標準化數倉 +OLAP 解決的臨時取數每週在幾千次左右，讓其支撐的取數工作量減少 80% 以上。
此外，他們搭建的離線、計算、算法平臺支撐的開發者佔到網易雲音樂團隊的近 50%，真正降低了數據處理和使用門檻，並且因爲實現了大部分的標準化，質量仍然有保證。
個人收穫與思考
對朱一飛而言，他最大的收穫是以往看一個平臺或中臺架構的視角是平面的，更多看到的是一個最終結果，即中臺是什麼的問題。在經歷網易雲音樂從 0 到 1 搭建體系的過程後，他的視角擴寬到體系平面垂直的時間維度。“我會更多思考整個中臺爲什麼應該是這樣的，架構中哪些層面更重要、需要優先解決，設計者應該將每個部分如何在時間線上串聯起來等問題。”他說。
一個團隊需要什麼樣的數據中臺，甚至是否需要數據中臺應結合自己的實際情況，不變的是數據驅動業務創新這個目標，方法和思路可以因團隊而異。實際上，數據中臺並非 silver bullet（銀彈）。
如果讓他重新開始，朱一飛稱“很多選擇可能並不會有變化。但有一定經驗，會讓我們避免一些坑，速度會快一些，比如我們的規範化埋點和流程做在前頭，數倉的設計會更規範完整一些。”
嘉賓介紹：
朱一飛，網易雲音樂數據智能部數據開發專家。2012年碩士畢業於浙江大學，同年加入網易雲音樂，從2016年開始帶領團隊從0到1搭建了雲音樂數據技術體系。近一年來結合業務創新發展的需要以及對中臺建設的思考，實踐了包括數據基礎設施，標準化數倉，數據應用產品矩陣，團隊組織模式在內的中臺架構。
在ArchSummit 全球架構師峯會（深圳站）現場，朱一飛老師將更加詳細的介紹關於數據中臺的一線實踐與思考，希望給正在建設數據中臺的一些公司提供可借鑑的經驗。