大數據發展歷程

一:大數據概念

大數據是由數量巨大、結構複雜、類型衆多的數據結構的數據集合,在合理時間內,通過對該該數據集合的管理、處理、並整理成爲能幫助政府機構和企業進行管理、決策的訊息。

二:大數據特點

大數據通常具有以下幾種特點:

1、大量:即數據體量龐大,包括採集、存儲和計算的量都非常大。

2、高速:要求處理速度快,從各類型的數據中快速獲得高價值的信息

3、多樣:數據種類繁多

4、價值:價值密度低,由於數據產生量巨大且速度非常快,必然形成各種有效數據和無效數據錯雜的狀態,因此數據價值的密度低。

5、在線:數據永遠在線,隨時能能調用計算

 

 

三:大數據發展歷程

1、上世紀末,是大數據的萌芽期,處於數據挖掘技術階段。隨着數據挖掘理論和數據庫技術的成熟,一些商業智能工具和知識管理技術開始被應用。

2、2003年-2006年是大數據發展的突破期,社交網絡的流行導致大量非結構化數據出現,傳統處理方法難以應對,數據處理系統、數據庫架構開始重新思考。

3、2006年-2009年,大數據形成並行計算和分佈式系統,爲大數據發展的成熟期。

4、2010年以來,隨着智能手機應用,數據碎片化、分佈式、流媒體特徵更加明顯,移動數據急劇增長。

5、2011年麥肯錫全球研究院發佈《大數據:下一個創新、競爭和生產力的前沿》,2012年維克托·舍恩伯格《大數據時代:生活、工作與思維的大變革》宣傳推廣,大數據概念開始風靡全球。

6、2013年5月,麥肯錫全球研究所發佈了一份名爲《顛覆性技術:技術改進生活、商業和全球經濟》的研究報告,報告確認了未來12種新興技術, 而大數據是這其中需求技術的基石。

7、2014年5月,美國白宮發佈了2014年全球“大數據”白皮書的研究報告《大數據:抓住機遇,守護價值》。報告鼓勵使用數據推動社會進步。

 

四:大數據相關技術發展

大數據技術發展可以分爲六個方向:

1、在大數據採集與預處理方向。這個方向最常見的問題是數據的多源和多樣性,導致數據的質量存在差異,影響到數據的可用性。

2、大數據存儲與管理方向。這個方向最常見的挑戰是存儲規模大,存儲管理複雜,需要兼顧結構化、非結構化和半結構化的數據。分佈式文件系統和分佈式數據庫相關技術的發展正在有效的解決這些問題。其中大數據索引和查詢技術、實時及流式大數據存儲與處理的發展。

3、大數據計算模式方向。如今出現了多種典型的計算模式,包括大數據查詢分析計算、批處理計算,流式計算、迭代計算、圖計算、內存計算。

4、大數據分析與挖掘方向。在數據類迅速膨脹的同時,還要進行深度的數據分析和挖掘,因此越來越多的大數據分析工具和產品應運而生。

 

5、大數據可視化分析方向。通過可視化方式來幫助人們探索和解釋複雜的數據,有利於決策者挖掘數據的商業價值,進而有助於大數據的發展。

 

6、大數據安全方向。當我們在用大數據分析和數據挖掘獲取商業價值的時候,黑客很可能在向我們攻擊,收集有用的信息。通過文件訪問控制來限制呈現對數據的操作、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數據安全。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章