大數據的定義及應用

  大數據的定義

  大數據,又稱巨量資料,指的是所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟件工具,在合理時間內達到擷取、管理、處理、並整理成爲幫助企業經營決策更積極目的的資訊。

  


  大數據的特點

  數據量大、數據種類多、要求實時性強、數據所蘊藏的價值大。在各行各業均存在大數據,但是衆多的信息和諮詢是紛繁複雜的,我們需要搜索、處理、分析、歸納、總結其深層次的規律。

  大數據的採集

  科學技術及互聯網的發展,推動着大數據時代的來臨,各行各業每天都在產生數量巨大的數據碎片,數據計量單位已從從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB、NB、DB來衡量。大數據時代數據的採集也不再是技術問題,只是面對如此衆多的數據,我們怎樣才能找到其內在規律。

  大數據的挖掘和處理

  大數據必然無法用人腦來推算、估測,或者用單臺的計算機進行處理,必須採用分佈式計算架構,依託雲計算的分佈式處理、分佈式數據庫、雲存儲和虛擬化技術,因此,大數據的挖掘和處理必須用到雲技術。

  


  大數據的應用

  大數據可應用於各行各業,將人們收集到的龐大數據進行分析整理,實現資訊的有效利用。舉個本專業的例子,比如在奶牛基因層面尋找與產奶量相關的主效基因,我們可以首先對奶牛全基因組進行掃描,儘管我們獲得了所有表型信息和基因信息,但是由於數據量龐大,這就需要採用大數據技術,進行分析比對,挖掘主效基因。例子還有很多。

  人們日常工作中接觸的文件、照片、視頻,都包含大量的數據,蘊含大量的信息。這一類數據有一個共同的特點,大小、內容、格式、用途可能都完全不一樣。

  以最常見的Word 文檔爲例,最簡單的Word 文檔可能只有寥寥幾行文字,但也可以混合編輯圖片、音樂等內容,成爲一份多媒體的文件,來增強文章的感染力。這類數據通常稱爲非結構化數據。

  與之相對應的另一類數據,就是結構化數據。這類數據大家可以簡單地理解成表格裏的數據,每一條都和另外一條的結構相同。大家每月都能領到工資條,每個工資條結構都是一樣的,當然裏面的工資和繳納的個稅、保險不同。每個人的工資條依次排列到一起,就形成了工資表。

  利用計算機處理結構化數據的技術比較成熟,從事會計、審計等工作的人,利用Excel 工具很容易進行加減乘除、彙總、統計之類的運算。如果進行大量的運算,一些商業數據庫軟件就派上用場,它們專門用於存儲和處理這些結構化的數據。

  


  大數據的價值特徵

  7·21 北京暴雨之夜,微博成了救災的明星。一些好心人在微博上公開自己公司地址,方便大家去躲雨和休息。

  大家依據微博實時瞭解哪個地方出現了擁堵,哪個地方需要救援。當然救災不力,應對失當是另外一回事兒。

  短信、電話都難以描述精確的地址,尤其是當人們焦慮和着急的時候,但是一條微博中可以同時包括人物、時間、地點三個要素,打開微博附加的座標數據,就可以在地圖上迅速定位,爲及時救災提供了方便。在這個例子中,人們看到融合數據的價值。

  再如視頻監控的例子。銀行、地鐵等一些敏感的部門或者地點,攝像頭都是24 小時運轉,會產生大量視頻數據。一般情況下,這些視頻數據非常枯燥、乏味,並不會引人注目。

  但是如果恰巧拍到有圖謀不軌的人,那麼這一幀圖像對公安人員來講,就是非常有價值的了。問題是我們無法在事前知道哪一幀會有用,只好把所有的視頻數據都保存下來,甚至保存了一年的數據,只有那一秒對破案有用。

  但是在研究人類行爲的社會學家眼中,這些視頻可能就是難得的第一手資料,也許可以藉此窺探人類的某些行爲模式。

  


  從上面各種事例中,可以得出以下結論:

  第一,數據是無價之寶;鄭州×××醫院××× http://jbk.39.net/yiyuanzaixian/aynjyy/

  第二,價值雖有,但確如沙灘中的黃金;

  第三,數據融合的價值,要遠遠大於種類單一的數據價值。

  在研究各行各業數據應用時,筆者發現很多公司坐擁金山,卻是苦苦掙扎。他們沒有認識到自身的數據中正蘊涵着業務的重生之道。

  最早重視數據價值的是互聯網公司,在大數據研究和應用方面領風氣之先。但是,大數據並非僅僅是大公司的專利,它更多的是看待世界、產業的觀念和視角。大公司自然可以合縱連橫,跨界擴張;小公司也可以靜水流深,別具高格。關鍵是你怎麼看。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章