前年阿里開始講數據中臺業務，去年以來這個概念很火直到最近。我在阿里待了10年的時間，也參與了中臺建設，今天想跟大家分享一下背後的邏輯，還有我在滴滴的實踐，以及中臺本質的問題是什麼。
今天我的題目叫做“精益生產與敏捷創新”，任何一箇中臺，不管是技術中臺、AI中臺，本質上爲了更好支撐業務，讓業務能夠更好的去把用戶價值做出來。從技術角度來講創造價值的核心就是兩點：
- 保證穩定且持續的研發生產持續輸出既有價值；
- 在生產過程中去找到可以改進的地方，找到新的創新點，創造更大的新價值。
一、滴滴數據中臺發展
看幾組數據，這幾組數據看起來挺大的，但目的不是爲了吹牛逼，目的是爲了講這個東西。
其實滴滴也好，阿里巴巴也好，這些大公司數據都經歷了四個階段，每個階段有不同的挑戰，相信在座的同學不同公司也處於不同的階段，或者說有可能也走到了這四個階段的下一次循環。
1、業務發展驅動數據進化
1）業務信息化
其實滴滴很幸運，正好趕上了移動互聯網那一波，把個人的位置信息進行信息化了，同時智能手機價格急劇下降，從四五千到幾百塊錢，任何一個羣體都能買到智能手機，最大的核心變革是什麼？你的位置與狀態隨時隨地都在線，這就是完成了第一個核心業務的核心化，滴滴趕上了這波一飛沖天。
2）信息數據化
第二波當業務構建起來各個地方有數據被記錄下來，如果10多年前有同學在做數據，當時肯定會去跟DBA吵，你這個數據量太大了，DBA肯定會說：你刪數據吧。因爲以前很多的數據是存在數據庫裏面的，而從2006年開始從記錄事務本身到記錄過程。
這個背後的核心是什麼？背後是邏輯範式的變化，因爲有了互聯網。互聯網之前所有的交流、互動其實是中心節點下面有很多小節點單獨跟他溝通。比如說我去和銀行辦業務，我去打電話給某一個人都是這樣子的，最多一對N，互相之間是沒有別的互動，去銀行辦各種業務，顧客間是沒有互動的。
但是有了互聯網之後，所有的節點之間是可以被連通的，所有的節點是可以被連接的，所有的信息從記錄的節點上變成了這個信息是記錄到邊上，這種範式變成了什麼呢？數據的量巨大膨脹，這個時候面臨最大的問題是算不動存不了，包括我們在講很多的實時計算也是一樣的道理，隨着我們的業務發展、人是需要實時進行反饋，那就意味着實時計算需要的計算能力和存儲能力變成更大的問題，當信息變成數據化之後一定會有這樣的情況。
當有更多的數據被記錄下來的時候，數據不再僅僅是BI，意味着每個人開始去用數據，每個人用的數據很有可能自己產生的結果，同時是別人的輸入，這個時候就意味着一張公司裏的數據網開始在編制起來，或者說最簡單的數據鏈條在編制起來。
這個時候會出現很多扯皮的事情了，上游說自己解決自己問題，數據的問題是自己用的，爲什麼要給你用？你依賴我的數據就依賴，出問題我不負責。被依賴很多上游說要改一個東西，下游說不能改，你改了，所有的代碼也得改。
上游說不改怎麼行呢，上面的業務要變。這個時候數據用的越多，扯皮事情就越來越多，爲什麼會扯皮呢？不是大傢什麼有問題，而是公司裏面沒有數據的文化，我們核心判斷這件事情誰對誰錯的價值觀，背後唯一判斷標準是什麼呢？很多公司是沒有的，因爲數據越多，產生出來的各種扯皮就出現了。
3）數據資產化
這樣就到第三個階段，每個地方都有大量的數據，每個業務都在消費大量的數據，廣告業務、運營、財務、現在還有越來越多的算法、人工智能，各個地方都在用數據，每個部門都有數據，每個部門都有自己的數據團隊，這個時候開始煙囪林立。
有些時候數據在一個地方用的好，可能在別的地方用的不好。當年在阿里的時候，2012年左右的時候最大的問題，怎麼把消費者的數據打通。因爲不同的業務環節裏面同一個消費者ID可能都不一樣，到滴滴後來也面臨同樣的問題，快車、順風車、出租車快速的發展，從來沒有考慮過數據打通問題。每個部門都覺得數據是自己的私產，我對這個數據質量保證只爲自己負責。數據資產從公司角度來講它是沒有被盤點的，只在點上產生價值。
在滴滴我們是面臨強監管的公司，可能在別的公司大家沒有受到這麼強的監管。所以數據本身的安全合規對於我們講是非常重要的事情，還好2017年加入到滴滴，對這件事情的重視程度比較高，第一個解決了隱私數據的處理，第二個數據分級管控，第三個數據的安全打標，還有關鍵的權限管理。最近我跑的公司也比較多，發現做一些互聯網金融類的公司內部的數據都沒有做權限管理，這是非常恐怖的一件事情。第三個一定得有對應的安全合規管控，這樣公司才能走的長久，不然數據做的越大，很有可能就成爲公司歸零的大風險。
第三個是數據資產面臨一個問題，可能這個資產在很久之前很多諮詢公司會講一個東西叫做數據治理，包括像最近的G20各個政府的首腦也提到這個問題，數據越來越重要，數據需要流動起來才能產生價值，如果不把它標準化好，數據的價值是很難打通的。
但是我們可以發現很多的企業去做數據治理的時候，這個項目都是無疾而終，或者做了項目很好，但是用着用着這個數據又不行了，不得不過一段時間又提一個大項目勞民傷財來去做這件事情，背後本質上的問題是什麼呢？爲什麼數據治理這件事情這麼困難，投入這麼大資金去做，但是產出卻很少，而且數據是越治一會兒又難用了，能不能讓這個數據越用越好用呢？我們發現背後還是一些本質上的東西去用的。
我們都在講用大數據去賦能別人，大數據去做廣告，大數據去賦能AI，讓AI更高效解決各種問題。但我們有沒有想過我們用數據能治理自己本身呢？這也是我們當時的思考，我們重要核心問題在數據資產化這個階段要解決兩個問題：數據質量混亂的問題；另外一個，高投入低產出問題，我好像做了標準化的事情，做了治理的事情，好像不太管用。
最後，當數據梳理通順了，這個資產在公司裏面流動起來，大概在2018年左右滴滴所有的數據在內部都是開放的，當然是分等級的，需要走相應的合規申請流程，每一個人經過相應的安全申請都能獲得所有的數據，相應的合規數據都能做查詢、分析，甚至做研發。
4）資產變現化
這樣的情況我們作用到第四個階段，怎麼樣把數據的價值最大化？怎麼樣變現？現在我們來看一下主要三個方面，一個是賦能人，讓數據的門檻下降，讓每一個人都能把數據用起來，這是我們背後非常難的理念，在座各位很多都在做各種各樣數據產品，有的是面向於工程師，有的面向分析師，但我們希望是整個數據平臺體系能讓公司所有的人在他需要的時候把數據用起來，把數據做到平民化。
第二個現在越來越多系統應用是數據密集型的，再往下一步走是數據智能化的，需要有算法、規則、數據來反饋這樣的應用系統，數據必須把它服務化，去和前臺的業務集成打通。
第三個滴滴是一個非常依賴數據的公司，後面我會講爲什麼，絕大部分業務是靠算法來去驅動的，所以算法需要的大量特徵本質上就是來源於中臺數據再次加工，怎麼能夠更好賦能AI？這也是變現裏面第三個難題。
滴滴究竟在數據方面和傳統的互聯網或者說BATJ這樣的公司有什麼樣的不同？左邊這個圖是工業領域常用的東西叫做資源投入和業務價值產出的微笑曲線，當一個公司在兩頭進行投入，同樣投入產出會更高，公司在研發、實驗、營銷、運營。其實，前面的很多同學分享都提到這一點，我們去做營銷投入一塊錢到工程師那兒，我們能通過廣告收回來多少錢。
即便沒有廣告平臺，投入到自己的營銷上面拉了更多新客也會賺更多的錢，投入到研發也會讓產品競爭力更高，賺更多的錢。但滴滴有點不一樣，我們除了在研發實驗投入資源產出的效益很高之外，我們在營銷領域產出並不高，我們更多是要把它投入到生產領域。
在日本精益思想裏面，他們說了日本企業和中國企業最大的區別是什麼？中國企業只知道在微笑的兩端引進新技術獲得增長，但不知道把中間這塊進行更好的管理，把微笑曲線變成武藏曲線。這是一家日本企業都能活的很好很久的原因，他們把曲線拉的更平，從研發、實驗、生產、運營、營銷各個環節都能做到很好的競爭力。
爲什麼滴滴微笑曲線會是這樣呢？任何一家大型互聯網公司本質上是這兩個商業模型的內核雙輪驅動，網絡效應和數據智能，而且往往是網絡效應是大於數據智能，但是滴滴卻是反着的，本身這個平臺沒有太大的網絡效應，乘客與乘客之間是不互動的，司機與司機也是不互動的，司機和乘客之間的連接是靠當時的時刻和那個時間節點上空間正好能匹配，系統硬拉在一起的，我們沒有太多的網絡效應，我們只有規模效應，乘客越多可能會吸引司機一下，司機說你這兒好拉活。司機越多可能會吸引乘客一下，這塊我打車的概率也高一點，但本質上這個護城河很低。
我們在這兒是沒有商業模式護城河，唯一一個護城河是來自於數據智能，怎麼樣通過更好的算法找到更好的匹配，怎麼去做供需的預測，怎麼去做調度，怎麼去做時間的分配，怎麼去鼓勵司機在什麼樣的情況下往哪個方向去走，我們在每一個出行環節裏面我們都需要用數據進去結合起相應的算法，把這個效率做到最高，所以從這個角度來講在滴滴去做數據平臺或者做數據中後臺工作壓力非常大的。因爲整個公司的護城河是依賴數據的，網絡效應在我們這兒是大大縮小。
2、中臺數據體系建設的核心困難
我們再看一下爲什麼在滴滴中臺數據體系建設這麼困難？數據其實是要在兩條價值線上去發揮價值，第一個每天日常生產價值線，每天業務要保障正常運轉，要從一個狀態變到另一個狀態，用戶進來要從一個業務做完，要穩定的生產，讓我們客戶能打到車，這裏面很多的算法通過數據，生產加工到最後產生價值。
這裏面隨時隨地在提三個詞，質量、效率、成本，因爲我們沒有大規模的網絡效應，我們依賴網絡效應去做創新的空間沒有那麼大，我們只能在各個業務的環節，用數據去發現這樣的效率增加的地方，或者在裏面去做模式的挖掘。
這樣對於數據來去驅動創新的壓力更大了，我們可能不像抖音，或者是說不像淘寶，我們可以做一個消費者靠主觀感受發現有哪些模式可以把網絡效應激發出來，對於我們來講必須用數據看整個滴滴出行網絡裏面有些什麼樣的模式，有些什麼樣的問題，有些什麼樣關聯的情況能夠被我們發現出來，有哪些idea去做實驗，一堆篩選以後找到一個真正產生正價值的idea。
每個這樣的想法要通過大量的數據分析、數據驅動的方式，才能最終融入到數據生產價值線來。這個時候對於數據平臺團隊來講意味着很糾結了，一條線要求穩定。另外一條線要求數據質量高情況下還要快速，必須得儘快把相應的數據支援到我，你希望把很多沒有穩定下的數據業務背後的數據支援到我，這是非常困難的一件事情。
因爲滴滴把競爭力放在了數據智能這塊，意味着我們是互聯企業裏面對於數據場景使用最多的一個企業了，總結了一下大概有13個主要數據使用場景，從最簡單的看報表、臨時分析、做對比，再去做相應的聚類分析，再去做模式挖掘，再去做算法、人工智能驅動，每一個環節需要大量的數據和平臺支撐它。
另外，用的場景越多，涉及到的鏈路越複雜，這個背後代表的是團隊，大家知道了人多了就有江湖，有了江湖很多事情就很麻煩，組織上我們會面臨巨大的困難。兩個不同的目標，這麼多的場景，這麼多的組織在一起，這是我們需要支撐6個最大業務場景的人員，數據工程人員，業務分析的人員，產品研發的人員，數據科學的人員，人工智能，其實背後還有一個財務。
每個人的訴求都不一樣，每個人在數據鏈條的環節都不一樣，他們每一個人的能量也不一樣，所以做一個數據平臺團隊是如履薄冰，我們面臨非常大的困難。我們怎麼來解呢？因爲滴滴和車有關係，我們背後是這麼複雜的，這條鏈是穩定的高質量數據交付，在整個全世界的生產製造環節裏面，什麼樣的鏈式製造在哪個行業裏面最複雜、最穩定的呢？是汽車製造行業。在這裏面做的最好的是豐田，我們就借鑑了豐田精益製造的理念，以它爲基礎變成了我們精益數據的管理體系。
首先我們定義目標，我們究竟做數據平臺的目的是什麼，是要處理更多的數據，還是要算的更快，還是說出各種各樣很好看的報表，我們認爲最核心的是高價值、高可靠、高效率、低成本、少浪費的做數據服務的交付。我們不一定做應用，不一定自己去拿到很好的業務效果，但是我們關鍵是要把數據賦能業務的同學，把數據的價值交付出去。
基於這樣的目標，我們認爲最關鍵的點首先要有文化，不然組織間的摩擦會有很大。這個東西也是和滴滴高層管理一起往下推，從廟堂和江湖之間一起去發力。
關鍵的兩個一個是持續改進，我們認爲數據平臺、數據體系或者數據中臺不是一天能夠建成的，也不是一個大項目做了數據治理，做了數據資產管理，這事就完事了，很多企業，尤其是傳統產業企業領導覺得數據這件事情交給CIO或者數據平臺的領導者就好了，把這個數據弄好，後面就好了，其實不是這樣子的。數據是跟着業務在發展和生產的，必須得持續改進才能跟上業務的節奏。
數據本質上背後是人，人用數據，人開發的AI用數據，我們必須得尊重人，尊重人是什麼樣的意思？尊重人的創意，我們應該讓每一個人都有機會平等用上數據，所以要把這個門檻降到最低。
第二個數據的鏈路裏面涉及到的方方面面各種各樣的人，我們一定要讓每一個鏈路中的人意識到，你做的任何一件事情都有可能會影響到上游或者下游，那核心價值觀是不要給別人添麻煩，客戶第一。以這個爲基礎的價值觀遇到很多問題的時候，我們就回到這樣的初心，再來看怎麼做持續改進。
二、滴滴精益數據管理體系
基於這樣的數據文化，我們去做了精益的數據生產的體系，我們把它總結爲以價值鏈爲拉動。在滴滴梳理出來了將近2000多條數據生產的鏈條一路，從數據的採集再到數據的使用，經過這樣的梳理來判斷哪些數據產生的價值更大，哪些數據的影響面更廣。基於這樣的數據價值鏈我們就做了下面相應的工作，很多是像豐田生產流水線學習的。
第一個是分級，我們認爲不可能把所有的數據問題用所有的精力解決掉，這也是不現實的，或者這個是浪費。精益裏面最關鍵一點是減少浪費，把所有的東西用同樣的方式做同樣的處理，所以第一個分級，對數據做了T1、T2、T3的分級。
第二個監控，我們必須實時知道這個數據在怎麼被加工處理，進入的情況是什麼樣的，產出的情況是什麼樣的，加工處理過程中間的產出各種日誌是什麼樣的。在《管理》那本書裏要提到要控制好任何一個生產線的質量，最關鍵的就是持續統計管理。在生產過程中任何數據都被統計下來，來發現這裏面的問題。
第三個覆盤，有了監控之後知道系統裏面會出現哪些問題、變化，每一個這樣的異常、變化和問題都會有一個小組召開相應的覆盤，從2017年4月份到2019年1月份做了150多次的覆盤，覆盤率超過了89%，相應每一次覆盤對於系統的改進都是巨大的。
最後把覆盤得到的從人員、流程、系統上得到改進的方案，通過系統的方式把它給沉澱下來。我們認爲只有通過自動化的方式，才能真正的去落地規範，才能真正落地文化和流程。所以說在自動裏面用了一個日文字，我們認爲這個“働”，不僅僅是要流程串在一起，有一個程序讓它跑起來就行了，這裏面需要人蔘與的，人在這裏面持續迭代更新它，人是最聰明的，以及現在人還可以做出人工智能來替它更高效優化。
另外一條支柱我們有了穩定的數據生產鏈，我們有方法可以讓它持續穩定下來之後，另外開始着手建立數據創新的體系。我們從哪兒去借鑑呢？這20多年來敏捷的軟件開發就在我們身邊，我們完完全全可以借鑑這套，包括從五年前開始火起來的DevOps，我認爲是數據體系需要認認真真去學習這個方法論，而不是有些時候過於強調數據工程的獨特性。我們把數據工程很多處理的方式歸結爲ETL模型，但是隨着現在越來越多的應用隨着數據驅動，大家現在看到數據實時計算平臺非常火熱，本質上是前臺的業務需要數據實時反饋來驅動它。也就是說，大量的數據工程本身就應該是和業務的應用，用一套方法論體系，一套軟件工程體系去構建。
這樣才能讓一個公司的軟件開發人員能夠更快速的去交付相應的軟件價值，不然一個公司裏面會越來越臃腫。從這個角度來講我們去認認真真把軟件工程去看了一遍，創新要容忍混亂，混亂來自什麼？或者換句話說叫活力，活力來自於連接，連接越多活力越大，所以我們構建一個創新網，把整個數據平臺採集到的各種各樣數據，以及數據在加工處理過程中，以及數據流動處理過程中間再次沉澱下來的數據，我們都把它記錄下來，以及產生這個數據的物和人，也記錄下來，從而形成了背後數據的知識圖譜。
我們知道這個數據從哪兒來到哪兒去，被什麼人來使用，使用的過程是什麼樣的，使用的反饋是什麼樣的，使用完之後沉澱下來的感悟是什麼樣的，比如說分析方法論是什麼樣的，數據工程師使用這個數據發現的問題是什麼？我們把這些東西都沉澱下來，並且和內部的效能工具做打通，和運維數據做打通，和財務系統做打通，去和各種各樣的流程審批系統做打通，這樣構建了數據創新的網絡。
我們再把相應的用戶羣進行分層，我們認爲一部分人是直接用數據的，所以說把這個定義成用結果，這裏面就是傳統的報表體系。我們爲了把報表的東西做到更敏捷，我們做了一個什麼事呢？我們發現公司很多的用戶不需要把它做的太漂亮，尤其是一線員工，更多是看數據來反饋前幾天的系統和系統上實時操作的結果是什麼樣子的，其實有自己的辦法去做相應的可視化分析，我們把很多的報表再做了簡化，我們認爲不用發很多可視化報表，就把它數據模板化就好了，並且給他一定的靈活性，第二步自配置。
我們現在每天可以產生600多個分析的小模板，來自於各個業務方向，覆盤、實驗、測試，大家可以想到背後什麼，每一個一線業務同學，不管是產品還是運營，都在用數據驅動它做任何改進的事情，滴滴的創新就這樣起來。
第三個模仿做，這裏面代表的思想是什麼？一切皆代碼，很多情況下你要模仿別人做一個東西，你看花花綠綠的東西，你不知道背後的東西是什麼，其實是很難模仿的。我們儘可能在數據分析這一塊，把數據背後分析的代碼都開放給用戶。比如說我看到這樣的數據結果，我會讓它找到背後分析的代碼是什麼，我看到這個報表，我會告訴他背後分析的DSL是什麼，這樣一些高階的用戶基於代碼更快速的理解背後的邏輯是什麼，進一步模仿可以去做。這樣會讓我們很多中低階的同學，在這塊技能不是那麼豐富的同學可以做一些偏高階的工作，降低成本，提升效率。
最後自主化，我們通過對於前面精益數據生產鏈路，去徹底打通數據從採集、加工、預處理、分析和系統對接再到服務化，我們打通了整個流程環節，任何一個稍微懂一點數據的同學，就能完成從數據的接入，再到數據的處理。這樣不會有很多的數據門檻，不需要一個同學要去做分析的時候，要去做數據探索的時候，需要有相應的工程師同學去配合他，才能完成相應的動作。
基於這樣的方法論，我們就去開發數據系統的工具鏈，這個工具鏈要達到前面的分級監控、覆盤和自動化，要去能夠讓大家各個層面上方便降門檻去用數據。在這裏面產品設計秉承核心的方法論，第一個數據要越用越好用，要把數據引入到產品設計中驅動產品設計的優化。第二個目標是讓儘可能多的人能夠把數據用起來，所以數據工具之間必須去做強打通，讓每一個人都能完成數據處理工作，這是產品設計的核心方法論，我們還通過相應的指標體系來去衡量是否在往這個方向去發展。
數據基礎設施，還是基於開源的體系來去做。基於這樣的方式做了兩年，2017年4月份加入到滴滴，第二天就出了很大的故障，從那個時候開始一直到年底基本上每週兩次，每天晚上被短信吵起來很多次，我下面的幾十號兄弟每天都得起來好幾次。
三、滴滴數據系統組成
我們有了這套東西我們持續改正之後，從用戶價值來講每個Q都會做NPS調研，打8分、9分、10分的人減去打1分、2分的人，打五六分的人我們不認爲他滿意。這個是非常苛刻的，很多公司很多產品NPS能做到30%是不錯了，從2017年的4月份19%還詬病比較多的，到最近的一次調研做到60%。
在相應的數據生產這一塊，事故從一年十幾次其實是二十次到去年可能只發生了一次。我們核心的數據產出時間最晚的處理時間已經提前到了5點，我們把所有數據採集的生產鏈路實時化，根據後面的用戶需要來選擇究竟是實時還是準實時，還是小時，還是按天。
另外，我們創新體系裏面有一個衡量的指標，我們的同事每天都在問很多問題，這些代表在思考解決很多新問題，可能在組合很多情況去解決複雜問題，我們認爲這都在做微創新，從兩天任務變到了2萬個，有了十倍的增加。
爲了把這兩套體系連接起來，發揮更大的作用，我們構建的智能數據目錄，相當於目每週會有20%的員工在高頻的使用，相當於20%的員工在去找公司裏面有哪些數據可以幫助到他做各種各樣業務的問題，目前也在系統性進行對外進行輸出。
另外，敏捷的數據治理，很多時候是數據治好一段時間，然後又壞，怎麼能夠讓它好用起來呢？第一個必須得全面量化，第二個改變思路。以前的思路是我的數據治理目標數據質量好，我們想數據質量好的本質是什麼？能夠把數據用起來，我們認爲所有的數據治理目標是讓更多人把數據用起來，能夠用起來的第一點是量化，數據怎麼在被使用。
我們把整個數據體系裏面的任何數據存儲引擎，數據分析的產品，用戶的日誌都記錄下來，我們希望對用戶行爲進行相應的結構化，我們來看用戶在怎麼用這些數據，我們在看數據依賴關係是什麼，哪些數據是高價值的，哪些數據是低價值的，哪些數據是影響面寬的，我們形成了幾百萬個節點，將近4億條邊的數據圖譜。
基於這樣的圖譜，借鑑了Google的PageRank算法，我們來計算出來哪些數據價值高，哪些數據的影響面廣，我們做了一些對比，通過專家做這個評測，我們發現用算法算出來的，基本上和專家的打分是一致的，所以很快應用到生產體系裏面去。我們用這種東西來衡量治理的效果是什麼樣的，實時監控，每天都產出這樣的情況來，從2018年初40分到現在70分，我們整體的數據使用處於持續好轉的階段，現在應該說還比較不錯。
因爲我對數據進行量化，我知道哪些是高價值的數據，高影響的數據，我們發現非常有趣的現象，10%的數據支撐了公司90%的業務和使用，所以我們只需投入更少的資源去解決那10%的數據治理問題，我們可以讓這些資源每天盯着，10%的數據量。我們可以通過全面的量化做到重點的攻關和突破，而其他的90%使用衆包和AI。
我們有了知識圖譜之後可以構建各種各樣的算法來提示大家或者驅動大家做什麼樣的優化，舉一個最簡單的例子，我們通過解析，發現大量數據處理的模式。我們把這些都推給了相應的數據工程師，他們拿到這個東西之後可以快速做相應的改進，這樣讓我們的數據倉庫又能快速的相應需求的同時，上面各種各樣業務創新人員去做數據查詢，性能也得到更好的提升。
最後數據的文化，我們一年多的時間將近兩年做了150次的覆盤，每一次覆盤都落地到從流程、人員到系統，都有詳細的改進計劃，我們成立了專門全鏈路的小組來去跟進，每一塊必須得落地到位。基於這樣整體的建設，我們整個中臺用戶使用的活躍度，從兩年前的1700人到5000+人，現在數據最新是5400左右，相當於滴滴49%的員工一週會用一次數據，這在整個行業裏面相當高的，我們做了一些調研，但不是特別全面，發現這個數據大概在20-25%。
基於這樣的方法論，我們系統這樣去搭建的，這個和阿里的數據中臺的組成部分或者網易數據中臺組成部分很類似。核心還是前面方法論，我想說的東西是什麼呢？這個東西就像武器，先進的武器大家是可以買得來的，可能花錢買或者僱人能夠造的出來，各種各樣的經驗大家也能夠借鑑，但是一支能打勝仗的隊伍，只有本國的軍隊、自己的軍事理論，再加上持續的訓練和實戰才能錘鍊出來，勝利不是靠買來的。這些只是你需要的武器而已，你需要公司的文化、公司組織、公司業務來去靈活制定數據體系的方法論，才能拿到相應的結果。
這就是我們產品做出來的情況，這是智能的數據目錄，讓數據越用越好用的方式，所有的數據資產在這兒都能通過檢索的方式做到，基本上這樣的數據還能做推薦，把它變成相應的數據支持實體，做及時的溝通，還能評價，還能diss你，很多同學也能點贊。
讓數據持續可靠，從最開始怎麼做好技術質量，再到怎麼找到相應的數據，再到最後更簡單的去使用數據。數據的服務化，數據能夠持續被人依賴，被服務依賴。
實時數據的集成，我沒有把它寫成數據的實時計算，我認爲更多是把數據集成，把集成好的數據交付給更多的前臺業務應用去使用，監控其實是裏面價值最低的，更多是怎麼能夠驅動前臺實時響應類的應用，來給用戶發揮價值。
這是運營輕量級分析的流程，就像剛剛提到的從兩年前的2000次再到現在的2萬次。這是數據可能今後發揮價值最大的地方，去賦能AI。通過建立好數據中臺服務層，再把它演變成對應的特徵層，來驅動出這樣強化學習的營銷體系。
四、中臺是買不來的
最後想講的感悟，數據中臺不是買來的，也不是簡單地把數據相應的模塊系統放在公司裏面搭建起來就OK的，它其實是尊重公司內部的客觀經濟規律，包括公司的文化、組織、人員、業務模式管理和治理的結果，其實更多的是需要大家用同樣的價值觀面向長期用戶價值合理的分工，以及基於分工下合理的協同，怎麼去梳理出價值鏈？怎麼梳理出創新網？本質上做這樣的事情，所以說到最後中臺其實是組織和體系建設的一個成果，背後是靠大數據技術和系統來做支撐。
今天我就分享到這裏，謝謝大家！
Q&A
Q1：您剛纔把日本的管理哲學也融入到滴滴系統裏面去，大數據架構能不能展開說一說，數據中臺和數據湖之間是什麼樣的關係？
A1：我們大概是分成了下面四層，最底層是數據架構這一層，相當於解決剛纔提到的第二個階段計算存儲的問題，這裏面主要做的是什麼呢？要能夠支持儘可能多的計算存儲模式，像剛纔提到有些連續性的，關鍵是穩定性。
再往上面是iPass層，我們認爲主要是兩個核心，一個是數據的中間件，能更好搭建出上層數據的應用。另外是數據的研發，我怎麼把數據集加工出來或者數據服務加工出來。再往上是數據的應用或者賦能。一塊叫數據資產更多去賦能應用，賦能上策的產品、賦能算法。右邊這塊是賦能人，讓他們自主查詢去做可視化，去做交互式複雜的探索。
數據資產管理裏面核心三點，第一個讓大家找到理解、發現，並且能夠信任數據；第二個能夠敏捷治理數據，相應的抓手，數據資產是量化的抓手，把數據歸屬到人，這是一個組織管理，資產的優化相當於是建立前面反饋之後，每天告訴給資產的負責人應該做什麼樣的優化，確保數據的質量提升。另外數據內容持續建設，再往上是相應的數據服務，數據服務現在主要是分成這幾大類，一種是分析類的去支撐各種各樣洞察的結果。
另外一個相當於實驗類的，以及滴滴比較有特色的地理圍欄、營銷、流程、財務管控、合規安全，還有面向高層的決策支撐，基本上這樣的體系。
Q2：基礎設施這一層怎麼支撐數據湖和數據中臺的？
A2：我們數據湖是這樣的，基礎數據存在HDFS裏面，HDFS因爲有很大的彈性，不管是容量還是對於結構化和非結構化不那麼敏感，但是性能和效率比較低，在數據湖上面構建了不同的查詢引擎。
解決什麼樣的問題呢？現在還沒有一個查詢引擎既查的又快，又穩定，在不同的數據量下穩定的工作。那我們就構建這樣不同的查詢引擎，根據對數據查詢的分析來去調用不同的引擎完成最後的查詢，這個是數據湖。
這個是基礎的結構，但是我們認爲這樣的數據湖最後會變成什麼？會變成數據沼澤，或者變成數據死海，爲什麼？會越來越亂，上面需要構建起相應的數據治理的東西。我們一個相對於傳統的廠商的數據湖或者很多公司做數據湖不一樣的地方在什麼呢？我們把數據目錄做強整合，你在數據湖做這樣的工作，沉澱下來的經驗，立馬變到知識體系來，供下一次使用。
你也可以用數據目錄很好去利用別人經驗對數據進行加工處理，這樣就能通過對數據使用過程中巨大的透明，保證數據湖的湖水乾淨。另外把數據模式提取出來之後，給到專業的數據倉庫人員，來對數據湖裏面的數據做持續的集成和規劃。
Q3：剛纔您提到HDFS實際上比較擅長做離線的分佈式存儲，爲什麼不選擇（ceph）呢？
A3：我們現在數據量是很大的，（ceph）首先存在一些技術問題，最關鍵是成本，用HDFS成本要低一些。
Q4：360有500個集羣，每個集羣上面可以跑1500個節點承載上面集團級的視頻流的數據量。除了成本以外，（ceph）本身是開源的，對於一個公司也不需要成本，爲什麼不用（ceph）？
A3：在滴滴也有用，只是我們現在最大的數據湖用的是HDFS，因爲我們認爲數據必須得在基礎設施層面上做打通，數據儘可能不要搬來搬去，大家看起來是成本上的浪費，最關鍵是降低了門檻和提升了穩定性。至於說在很多其他領域，我們也有用ceph的。
作者介紹：
張茂森，滴滴首席工程師，負責滴滴數據平臺建設和數據產品商業化工作。致力於企業級敏捷數據體系的落地。曾在阿里負責量子恆道店鋪分析產品技術架構，打造從零到300萬賣家的數據分析服務，曾負責阿里雲dataworks 5k+項目整體架構師工作。最早實現數據安全計算產品淘寶御膳房平臺，用數據賦能電商生態。
本文由 dbaplus 社羣授權轉載。
原文鏈接：