小數據 vs. 大數據

2019年1月-2019年12月

文 | 潘愛民

來自 iSyscore Radio 的報道

第一講

隨着互聯網技術的發展，電腦、智能手機和其他各種智能設備產生了大量的數據，我們從信息時代進入了大數據時代。大數據的一個典型應用是，移動手機上的用戶行爲數據可被用做用戶畫像，從而優化移動應用的界面或功能設計。當前，幾乎每一個行業都在迎接大數據時代的到來，然而，受限於現有的數據處理能力以及我們對於海量數據的認知能力，大數據能發揮的作用還非常有限。

"本文提出了物聯網數據模型，解釋了小數據和大數據的一些關鍵特徵。

物聯網數據模型

用小數據+大數據來理解物聯網系統

物聯網技術的發展讓物理世界的數字化不斷深入，這個過程中產生了大量的數據，形成了以設備爲來源的數據集，如何從這些數據中挖掘出價值來，這需要回到場景中思考。對應於熱門的“大數據”概念，業務場景中的數據集可稱爲“小數據”。小數據不僅代表了數據規模沒有那麼大更重要的是，這些數據是場景相關的，人的經驗和知識可以充分理解這些數據，從而能夠快捷地將行業專家想象得到的優化方案回饋到業務場景中。物聯網數據模型分兩層，如圖1所示。

圖1. 物聯網數據模型

⚫ 物聯網設備連接到本地的一個小數據節點上，比如穿戴設備連接到手機，樓宇中的設備連接到本地服務器，它們不直接連接到雲端。

⚫ 小數據節點將數據傳輸到雲端，形成大數據。針對這個模型，也可以用另一種方式來理解：小數據是人類可以充分認知的，而大數據則由機器去處理。兩者結合起來，共同發揮數據的價值。

舉例說明，北京寫字樓的溫溼度與杭州寫字樓的溫溼度，因爲外部環境條件下人羣體感會有不同，相應的調節策略也會有所不同。

另外，同樣的空調應用於生活環境或生產環境，也可能會有較大的差異。

綜上所述，能耗策略，只有放到具體的場景中去考慮纔是合理的。當大量的數據匯聚到雲端形成大數據以後，通過機器學習，可以分析出一些合理的關聯性，比如溫溼度與地理位置的關聯性，再應用到場景中，可能形成一些策略或模型。

小數據與大數據

小數據與大數據並不是簡單的數據量大小的差別，更重要的因素是複雜度。大致上，複雜度差異表現在以下三個方面：

⚫小數據往往與特定的業務場景關聯，數據結構化程度比較高，數據的含義具有可解釋性（數據內部包含大量因果關係）；而大數據的構成通常比較複雜，往往包含大量的非結構化數據，內部數據之間側重關聯關係，甚至這些關聯關係並不清晰。

⚫小數據的價值密度高，往往與場景中的特徵有直接或間接的關係；而大數據的價值密度低，可能包含大量冗餘數據，甚至無價值數據，但有潛在的高價值值得挖掘。

⚫小數據處理成本相對可控，通常並不要求很強的計算能力，並且針對小數據的計算效率在工程上較容易保證；大數據對計算資源的要求很高，往往成本高，計算實時性難保證。小數據與大數據的特徵差異如圖2所示。

圖2. 小數據與大數據特徵差異

大數據的處理和計算需要通過雲計算來做到，門檻較高，通常只有雲計算廠商或者專業機構才能實現。典型的大數據案例有：政府部門彙總在一起的產業數據、大用戶量商業環境下的行爲數據、銀行風險控制用到的各種客戶數據，等等。

"小數據的處理和計算既可以在雲端完成，也可以在本地服務器上完成。由於小數據的價值密度高，且數據易於理解，因此可結合專家經驗與機器學習算法，將數據的價值在業務場景中發揮出來。"

小數據與大數據並非完全對立，它們也有緊密的聯繫。小數據匯聚在雲端，就有可能形成大數據。在一些垂直領域，單個節點是小數據模型，當節點的數據匯聚到雲端時，如果純粹只是數據量的疊加，而沒有引入更多維度數據的關聯關係，那麼，雲端大數據的複雜性並沒有顯著增加。目前市場上很多大數據都是這種類型，本質上可以按照小數據模型來理解。

物聯網操作系統

基於如圖1所示的物聯網數據模型，我們認爲，在業務場景中需要一個操作系統，也就是對應於圖中的小數據節點，它可以將場景中的設備連接起來，來採集和處理數據，並基於這些數據來優化服務於場景。小數據節點可以將數據同步到雲端，進一步實現更大範圍的大數據計算。

圖1. 物聯網數據模型

從系統安全性來看，小數據節點的存在是有意義的。若物聯網設備直接連接雲端，在安全防護做得不夠的情況下，這些設備存在很大的安全隱患，近幾年已經發生了很多起攝像頭、智能音箱等設備被攻擊的事件。而大多數情況下，物聯網設備的計算能力相對較弱，建立全方位的安全防護體系並不現實，所以，需要將它們的連接訪問能力限制在較局部的範圍內。

除了在特定的相對緊湊的場景中部署很多物聯網設備以外，物聯網系統還有一種變形的部署形式，即，大量同類型的設備部署在較大範圍的空間中，比如智能路燈或者智能水錶、電錶等，它們用有線或無線的方式連接到一個網絡節點，進而直接或間接地連接到服務器，形成一個物聯網系統，如圖3所示。這本質上也是一個小數據節點，需要一個物聯網操作系統來採集和處理數據。