暗數據現狀堪憂 Splunk給出實現數據驅動的四點建議
近期，一家中立的市場調查公司TRUE Global Intelligence在Splunk的指導下調查採訪了來自美國、英國、法國、德國、中國、日本和澳大利亞共7個國家的1300多名跨國企業的業務經理和IT領導，瞭解他們所在的企業機構如何收集、管理並使用數據，完成併發布了《暗數據現狀報告》。
本次調查的受訪者中一半爲 IT 崗位，一半爲業務崗位，30% 爲高管和高級領導(副總裁/高級副總裁)，30% 爲主管級別，40% 爲管理人員。研究報告顯示，儘管企業高管認識到利用所有數據的價值，但企業機構總數據的一半以上(55%)是“暗數據”，他們忽視了這些有潛在價值的數據，並且缺乏資源去充分利用這些數據。
Splunk 中國區總經理嚴立忠分享《暗數據現狀報告》
暗數據的認知
何謂“暗數據”?Splunk公司給出了準確的定義：暗數據是整個組織中，由系統、設備和交互生成的所有未知和未開發的數據。Splunk中國區總經理嚴立忠認爲：“很多企業以爲自己在用大數據，其實是、也不是，他只是把傳統的商業數據再挖掘，但那不是我們目標中的大數據，暗數據比這個範圍更廣，也更難。”他指出，很多數據是企業不知道也沒有被利用的，這些都屬於暗數據。例如，過去銀行的儲蓄部門和信用卡部門通常是分開的，部門之間沒有太多溝通，數據也是割裂的，對於信用卡中心來說，傳統銀行的數據是沒有被利用的數據，也是一種暗數據。暗數據可能是當前企業最大的未開發資源。
在大數據時代，數據是重要的資產，這一點毋庸置疑，在《暗數據現狀報告》中也得到了印證：
受訪者中有76%認爲“擁有最多數據的企業機構將在競爭中獲勝”。 82%的受訪者認爲，數據與企業機構的成功息息相關，91%的受訪者認爲“擁有最多數據的企業機構將在競爭中獲勝”。 87%的受訪者認爲數據在未來十年將變得更有價值。 超過半數(56%)的受訪者承認，“數據驅動”只是自己所在企業機構的一個空口號。
然而研究結果表明，儘管數據是首要考慮因素，但行動力遠遠沒有跟上：
在接受調查的國家中，60% 的受訪者稱組織中至少一半的數據爲暗數據。
三分之一的受訪者稱，在其組織擁有的數據中，暗數據的比例達到 75%。 只有中國有略高於一半的受訪者表示組織中的暗數據低於一半。 77% 的受訪者(從全球來看)表示尋找和收集暗數據應是重中之重。 66%的受訪者認爲缺乏高層領導的支持是收集數據的一大挑戰。
倍感欣慰的是，中國企業對暗數據的認知超過了全球平均水平，走在了最前面。
鑑別和收回暗數據的困難既涉及技術，也涉及組織問題：受訪者表示面對組織中的數據倉庫時，他們應接不暇，而且缺乏相關的人才、技能和工具，領導也缺乏興趣、反應遲鈍。數據戰略和對暗數據的追求不能只是一個“項目”，必須獲得內部領導和內部人才的推動，並着眼於對所有數據的端對端管理。
受訪者認定具有潛力的主要解決方案包括：對更多員工進行數據科學和分析培訓，使用新款軟件讓技術能力較弱的僱員也能用它來分析數據，以及將數據收集功能融入應用和設備開發中。另外，大部分受訪者也注意到，利用人工智能收集和分析數據，對業務領導者進行數據價值教育，增加數據管理資金，聘用更多數據專家也頗具潛力。
暗數據與人工智能
全球受訪者都認爲人工智能通常會增加機會，而不是取代人。儘管調查顯示，目前很少有企業機構正在使用人工智能，但大多數組織都看到了它的巨大潛力。例如，在一系列的用例中——包括運營效率、戰略決策、人力資源和客戶體驗，只有10%到15%的受訪者說他們的組織正在爲這些用例部署人工智能，而大約三分之二的人看到了人工智能的潛在價值。
82%的受訪者表示人類現在和將來都將處於人工智能的核心地位。 大多數受訪者(71%)看到了使用人工智能分析數據的潛力。 73%的人認爲人工智能可以彌補IT方面的技能差距。 82%的受訪者表示，人類永遠是人工智能的核心，72%的人認爲人工智能只是解決業務問題的工具。 只有12%的受訪者使用人工智能來指導業務戰略，61%的受訪者希望他們所在的企業機構在未來五年內以這種方式增加對人工智能的使用。
再來看一下中國受訪者的核心數據：
96%的中國受訪者認爲，人工智能是由數據推動的;91%的受訪者認爲，無論是現在還是將來，人類都處於人工智能的核心位置。 中國是僅有的兩個“絕大多數受訪者(77%)都聲稱極爲或非常瞭解人工智能”的市場之一。 85%的中國受訪者(所有市場中比例最高)認爲，人工智能可以彌補IT方面的技能差距。
雖然絕大多數中國受訪者對人工智能表示出了極大的熱情和信心，但他們目前的採用率(20%)僅略高於全球平均水平(16%)。
數據技能與領導力的重要性
幾乎所有的受訪者 (99%) 都同意，數據技能是未來工作中不可或缺的一部分。如下圖所示，與調查中的其他問題一樣，對數據技能重要性的態度在各個地區並不相同，其中中國的態度最爲積極。
業務領導表示，他們恢復暗數據的三大障礙中，首當其衝的是數據量，其次是缺乏必要的技能和資源。 77%的受訪者“非常或極其願意”學習新的數據整理技巧。 92%的受訪者表示他們“願意”學習新的數據技能，但只有57%的人“極爲”或“非常”熱衷於更多地使用數據。 當被問及如何教育自己和團隊時，超過半數(53%)的受訪者表示，他們年齡太大，學不了新的數據技能。
受訪者表示未來 10 年既具有技術數據技能又擁有敏銳業務嗅覺的僱員將最受歡迎，其需求遠超只擁有技術數據技能或業務專業知識的僱員。顯然，未來的工作要求是：具備數據素養才能緊隨時代潮流。受訪者預測需求量最大也最難招攬的職員是具備技術和業務技能的人。
從全球來看，73% 的受訪者表示數據技能對於他們來說比業務技能更加難以掌握。大部分人 (69%) 滿足於繼續幹自己當前的工作，即使這意味着他們無法再得到晉升。
與數據技能相比，領導力的作用同樣重要。66%的受訪者認爲缺乏高層領導的支持是收集數據的一大挑戰，約五分之一(21%)的受訪者認爲“企業機構領導對數據缺乏興趣”是一大挑戰。此外，大多數高管表示，他們就快退休了，沒有動力去了解數據。
在數據驅動決策的新時代，要對爆炸式增長的暗數據進行管理和分析，彌合數據技能缺口可能是現在各家組織面臨的最重要的挑戰。
整體而言，調查發現中國是在獲得和部署數據技能方面最高瞻遠矚的國家。而美國的受訪者比其他國家的受訪者更認可數據技能未來將對於工作極度或非常重要的觀點。
結論與建議
經過此次調查可以發現，數據焦慮是全球性的。那麼如何應對數據焦慮，最大限度的挖掘暗數據的價值，讓它們爲企業和組織所用呢?Splunk給出了四點建議：
1、擁抱 AI 和機器學習的變革力量。我們應當掌握這種具有變革潛力的技術羣，尋找對於您所在行業和組織有意義的應用領域。
2、建立數據基礎設施和數據文化。讓“數據驅動”成爲現實，並確保您的數據處理方法有助於組織和展現數據，讓您更快地挖掘其所有潛力。暗數據可向 AI 提供能夠供其分析的、未開發的龐大信息資源。
3、招聘時尋找您需要的技能組合。這種技能組合不僅包含現今的數據技術能力，還有數據文化與變革型企業中需要的好奇心、自我激勵以及合作能力。
4、提供培訓機遇。人才並不多見，企業應鼓勵現有的工作人員隨着新技術的到來而成長，隨着業務的轉變而轉變。
Splunk助力客戶最大化數據商業價值
嚴立忠在接受採訪時表示：“相比於那些Hadoop分佈式文件管理系統的廠商，雖然同屬大數據廠商，但是Splunk與其並不是競爭關係，Splunk沒有競爭對手，都是合作伙伴。”他強調，Splunk的合作伙伴是基於歷史數據的管理層面，通過Hadoop管理數據，數據輸出給Splunk，是Splunk進行數據關聯分析時的數據源，Splunk的強項是實時分析。
與國內數據中臺或數據平臺的叫法類似，Splunk可以接觸所有數據，可以爲所有的商業目標服務。其中，所有數據是指既可以是Oracle數據庫中的數據，也可以是Hadoop中的歷史數據，既可以是拍攝視頻的單獨數據，也可以是物聯網數據，不受數據類型、數量、存儲方式的限制。
如今，很多看似毫無關聯的數據，接入數據平臺進行實時分析後，會產生意想不到的關聯。例如印尼的7-Eleven利用氣象數據預熱雨傘的補貨量，而不是根據貨架上的貨多貨少。
Splunk發佈暗數據現狀報告，旨在呼籲全球的組織和企業，能夠重視暗數據的價值，將數據驅動轉變爲現實。