諮詢14個CEO,花了20小時,建設頂級數據團隊的乾貨,被瘋狂點贊

文|與數據同行

筆者在相當長的時間在做報表取數,那個時候爲了凸顯價值,其實我們也很想做一些高端的數據工作,比如數據分析和挖掘,但受限於當時的組織架構,公司並沒有明確數據團隊在這方面的職責,因此我們最終未能把一個個分析和挖掘的亮點轉化成真正的生產力。

報表取數始終是我們工作的基本面,而數據分析和挖掘對於這個團隊其實是可有可無的,在資源衝突的情況下,必然是優先滿足報表取數這個基本職能。

如果當時讓我們全力做數據分析和挖掘,也會有一種不務正業的感覺,畢竟名不正則言不順。況且公司不給你匹配所需的資源,你也發展壯大不了,別的組織也不會認可。

很多企業想往大數據轉型,但對於大數據缺乏認識,相關組織和職能未能同比完成調整,比如要求現有的數據團隊既要做好報表取數,也要做好挖掘分析,卻沒有配備相關的資源,很多人還身兼數職,這種模式基本上是很難成功的。

任何一個有志氣的數據從業者都不希望僅限於做報表和取數,但實際上是企業賦予你團隊的職能決定了你實際工作的天花板。在一支報表取數爲核心的團隊,你的挖掘分析的成果很難轉化爲生產力。

下面以筆者的實踐跟你講講一支大數據團隊的構成,它可能適用於對於數字化轉型有一定認識、並在資源上能給予足夠的支持的企業。

當然這裏的數據團隊是狹義的概念,主要包括五個組:匯通保障組平臺工具組報表取數組挖掘服務組對外變現組

1、匯通保障組

負責企業級大數據統一採集(含集中數據交換)、大數據統一建模(基礎和融合模型)、大數據運維及優化及企業級大數據標準及治理等職能。可以看到,匯通保證組是以提升數據本身的效率爲核心的。

大數據統一採集:很多企業大數據設立了運維組,但大數據採集規劃和推動的職能並沒有實質性的落地,基本上是靠一次性項目或需求管理的方式來進行大數據採集,導致大數據平臺在建設了多年後卻發現大數據資產的增值有限,這讓大數據團隊喪失核心競爭力。

做數據的人都知道,數據是建模的天花板,但我們平時似乎更熱衷於用建模的方法去化腐朽爲神奇,而忘了最本質的東西。

大數據採集規劃需要與運維生產的職能去融合,將主動採集作爲運維團隊的核心職能,這代表了數據運維團隊的一個未來方向,企業如果設立統一的數據採集組織,辦事處應該設在這裏。

大數據統一建模:數據倉庫建模的職能到底應該放在哪裏備受爭議,我們以前只有報表取數組,因此曾經把這個職能放在報表取數組,後來發現屁股決定腦袋的事情太多了,報表取數組基本沒有精力去做什麼倉庫模型優化。

隨着企業級中臺概念的提出,數據倉庫建模肯定要進一步下沉成爲企業的公共服務,要致力於去滿足企業各個部門的數據訴求,因此統一建模跟運維組的整合也是很自然的。

大數據運維及優化:跟OLTP可以將開發和運維完全分開不同,OLAP系統的開發(採集、建模及優化)跟運維整合是必然的,我們自己經歷了分離,整合再分離的過程,最終整合的理念經受住了實踐的檢驗。

大數據標準及治理:大數據標準都是針對具備共性的東西制定的,企業不要搞個單獨的組織去做什麼標準和治理,在初期應以效率爲先,儘快的讓這些標準在生產中發揮作用纔是當務之急。

2、平臺工具組

負責數據中臺工具建設及優化,數據開發及挖掘服務環境建設及優化,數據中臺新技術的落地。工欲善其事必,先利其器,平臺工具組是以提升數據使用效能爲核心的。

企業完成了大數據平臺建設和數據匯聚其實只是走出了第一步,而如何將這些數據對外開放是巨大的挑戰,筆者認爲,以下這些平臺和工具是需要組建團隊長期建設和運營的:

數據開發管理平臺:提供跨平臺一站式可視化數據開發生產環境,這代表了一種數據技術趨勢。

這個平臺直接面向開發和業務人員,提供了標準化的開發方法,能有效降低開發門檻,當然對於體驗的要求非常高。但這種平臺是真正的五年磨一劍,需要專門的產品團隊長期運營。

數據挖掘管理平臺:以交互式、分佈式及可視化的方式提供機器學習訓練、發佈及預測的一站式服務。

數據資產管理平臺:提供從元數據管理、數據質量管理、數據資產評估、數據與系統運維監控的一體化管理平臺。

數據資產管理平臺現在是個邏輯的概念,它的各種功能模塊通過組合的方式去爲各類平臺賦能,比如元數據管理的數據字典功能是直接與數據開發平臺進行無縫集成的。

其他還有標籤庫管理平臺、營銷管理平臺、數據採集管理平臺、報表可視化平臺等等。

我們以前的數據沒人用,一個很大的原因是工具太差了,而這些工具往往又不是現成能買到的,需要企業下大功夫去做運營,而大多企業通過項目化的方式去打造的這種平臺和工具往往水土不服。

3、報表取數組

爲公司提供及時、準確的數據是報表取數團隊的使命,報表取數是一隻數據團隊最爲核心的職能,報表取數有個好聽的別名:BI組,但BI起碼到現在還是以展現數據爲核心的。

有些報表取數團隊還演化出了一些分析職能,但我其實蠻反對在現有報表取數團隊額外增加這種職能,因爲完全是兩個專業。

數據分析和挖掘太多的探索性跟報表取數保守嚴謹的工作方式是不一致的,你不能讓現有的報表取數人員去做兼職,你得額外增加組織和人員。

關於報表和BI工具的選擇,FineReportFineBI是很不錯的。

報表取數團隊可以培養基礎的數據和業務能力,也是新人的試金石,做不好報表取數,基本也很難勝任其他數據專業的工作,很多人通過報表取數的歷練成爲專家,筆者也是這麼過來的。

4、挖掘服務組

企業一般不會把數據團隊的名字叫做報表取數組,雖然它乾的事情就是報表取數,但領導不會滿足於數據團隊只幹報表取數的事情,特別是在大數據的背景下。

OLTP的團隊可以說保障穩定性、連續性是最大的業績,但報表取數團隊是說不出口的,大多數時候報表延遲幾個小時不是問題,這其實也很公平。

既然這樣,數據團隊索性跟公司爭取一些資源,成立獨立的挖掘組織,對企業有所承諾,專注的去幹這種事情,做到責權利統一。

因此,企業有多大的決心,你有多大的能力決定着在這條路上能走多遠,否則,最多也就PPT上show一下而已。

5、對外變現組

無論是報表取數組,還是挖掘服務組,其實他們服務的對象都是內部客戶,服務內部客戶的一個問題是很難客觀評估數據團隊的價值,你拼命滿足業務部門需求的結果並不一定換來好的滿意度,這是數據團隊鬱悶的一個原因。

設立對外變現組是每個數據團隊的理想,在充分競爭的市場能幫助公司賺到錢是最能體現自身價值的地方,也是最具挑戰的,當然這還需要天時地利人和的配合。

隨着對外業務的開展,它反過來能更好的驅動其他數據組織的優化和完善,這也正是我們希望走的道路。

雖然筆者只提了以上五個組,但其實已經包含了大量的內容,每個企業可以基於需要自由組合,從而打造出適合自己的數據團隊。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章