數據科技的若干發展趨勢

數據科技(Data Science and Technology)在近二十年來越來越受重視,蓋因大部分問題都直接來自業界的真實需求。

甲骨文 Open World 大會(9.15~9.19)剛剛在舊金山謝幕。來自全球各地的科技巨頭和行業客戶齊聚一堂,探討了包括分佈式賬本、智能技術、物聯網等熱門話題,以及可能對數據科技產生的深遠影響。

分佈式賬本

作爲社會學實驗,比特幣、以太坊等公共賬本已經進行了諸多有益的嘗試。然而,企業用戶們在實踐中,逐漸意識到,當下的商業模式天然更爲接近聯盟賬本。

如果只侷限在作爲金融數據領域,FB Libra 已經邁出了實質性的第一步。然而,對於更廣義的通用數據協作,目前還未達成共識。公共賬本的理念先進,卻始終繞不開擴展性和安全性兩座大山;聯盟賬本因爲在場景上折衷,可以具備更大技術優勢,但也多侷限在新數據場景中。而幾乎所有已有數據都靜靜呆在傳統的集中式存儲設備中——只要這些數據無法得到有效激活,真正的大數據時代將無法來臨。。

正如筆者數年前預言,賬本科技發展會對數據庫產品提出新需求;反過來,數據庫產品也必然會主動吸收分佈式賬本的科技成果。甲骨文即將推出的 Blockchain Table 特性是近些年少有的突破性嘗試。它提供基於區塊鏈的額外安全性保障,同時兼容已有數據和特性。這恰好應對了企業級用戶的痛點:願意不斷享有新科技的益處,但絕不希望輕易改動已有數據架構。

推倒重來固然簡單易爲,卻往往需要付出巨大代價,不到最後關頭萬萬不可;可以持續演化的系統纔是更加優化的長效選擇。可演化性,更具挑戰,也更加體現設計者的功底。

智能技術

雖然人工智能泡沫已經消退,但長期來看,軟件代替人力是必然的趨勢。

今天的企業需要處理的數據規模和複雜度都前所未有,必然會更加依賴軟件,依賴自動化。

不同領域對數據處理的訴求不同。自動駕駛等領域更加依賴硬件的發展,因此傳感器製造商可以獲得數十億的估值。對他們來說,算法精度提高几個百分點在商業上卻無法構成本質差異,倒不如提高信號的採集質量。創業團隊在面對傳統生產商時很難有談判資格,後者多年積累的從產品到產業鏈的巨大優勢,很難通過算法來彌補。

然而科技公司的數據處理場景完全不同,拼的就是計算,因此算法、計算架構等起到的作用很大。

傳統企業在應用創新技術時往往偏向保守,越大體量的企業越是如此。現場調查顯示,相當一部分客戶並不希望新技術過多改變已有的產品特性。因此,未來數年內,智能技術的發展必然是從外圍到核心。先提高 Devops 自動化的效率,提高安全性,然後優化數據產品的配置和運行狀態,最後纔是對核心過程的並行、預測。到那個時候,應用開發者無需關心數據格式,就像剛有數據庫概念的時候,簡單、自然,但是境界不同。

物聯網

物聯網已經討論了三十年,但這次風口是真的要來了。

當有一件事情推動你往一個方向去的時候,你可能需要慎重考慮;但當多件事情都指向同一個方向時,別再猶豫!

世界等待了物聯網太久,太久的好處之一就是可以準備得更充分。幾十年前暢想物聯網場景的前輩們無法想象今天的微型設備、泛在網絡、能源技術……

大膽預言物聯網的普及將很快。隨風潛入夜,潤物細無聲。

物聯網對數據科技的挑戰是巨大的。首要的就是越來越複雜的數據類型。在過去,人們只關注結構化數據,然而互聯網上已經產生大量的非結構化數據,物聯網上更將是如此。對這些非結構化數據的挖掘在過去很難產生足夠的價值回報。在今天,這些數據被認爲像石油一樣重要。掌握了新型數據挖掘能力的公司將獲取超過壟斷能源行業帶來的回報。

爲了支撐這些龐大的數據和處理能力,必然會出現新的數據產品(例如數據湖)。由於數據自身集中化的特點,這些產品將需要同時支持多種格式的數據,具備多種的處理方法。

===== 關於 TechFirst 公衆號 =====

專注金融科技、人工智能、數據科學、分佈式系統相關領域的熱門技術與前瞻方向。歡迎投稿!

如果你喜歡公衆號內容,歡迎鼓勵一杯 coffee~

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章