大數據學習心得

一、 概述


1大數據簡介 

1.1起源 

“大數據“,近幾年來最火的詞之一。雖然大數據這個詞的正式產生也就10年左右,但對大數據分析卻早就有之。早在互聯網初期,就有很多公司通過計算機技術對大量的分析處理,比如各個瀏覽引擎。然而,大數據的真正提出卻是源自2008.09.03 《Nature》專刊的一篇論文,緊接着,產業界也不斷跟進,麥肯錫於2011.06 發佈麥肯錫全球研究院報告,標誌着大數據在產業界的真正興起,隨着白宮發佈大數據研發法案,政府開始加入大數據的角逐。 

1.2定義 

既然大數據這麼熱,我們有必要了解一下大數據究竟是什麼。我們經常用4個V來定義大數據:容量、多樣性、吞吐量、價值。即大數據必須是數量大(至少T、P級別),來源多,大部分爲非結構化,且進出分析系統的速度快,並以獲取價值爲目的的數據。


2移動互聯網的大數據特徵 

2.1web2.0與廣義移動互聯網 

Web2.0指以朋友圈、微博等爲代表的資訊交流分享型互聯網,而廣義移動互聯網,則是通過無線方式實現互聯網、物聯網和社會網絡的連接。 

2.2數據特徵 

移動互聯網的數據具有移動性、複雜性、社會性的特徵。首先,節點是具有移動性的,它具有普適感知的功能。其次,網絡是具有複雜性的,通過網絡可以進行多元感知,最後個體是具有社會性的,所以他也具有社會感知的作用。 

2.3數據類型 

移動互聯網產生兩種類型數據:一是人傳輸的數據(UGU),它源自人的自我表達需求。一是機器產生的數據(MGC),其源自科技、軍事、商業的需求。 

2.4智能感知&服務 

目前的移動互聯網有一條缺失的鏈條—智能感知&服務。我們知道,互聯網解決的是人與人信息交換的問題,物聯網解決的是物與物信息交換的問題。而智能化服務需要人與自然與社會的交叉感知,移動互聯網和大數據技術就是它的橋樑。 

2.5智慧城市 

我認爲,智慧城市=數字城市+移動互聯網+物聯網+雲計算,而要實現則需要移動互聯網將互聯網、人際關係網、物聯網進行三網融合。


3機遇與挑戰 

3.1機遇 

大數據給我們帶來了機遇和挑戰,我們是否能從中受益則需要看我們怎麼對待這些機遇和挑戰。大數據的機遇是明顯的,各種大平臺的數據採集與公開,MapReduce等數據分析平臺的開放,以及各領域數據挖掘服務的提供,使我們獲得數據變得更加容易。而這些豐富的數據更是帶來了衆多的創新機會,任何領域的數據都可能對這個領域造成巨大的影響。 

3.2挑戰 

當然大數據也給我們帶來了很多挑戰。一、數據共享與數據私有的矛盾。大數據的價值是稀疏的,而大量的數據往往被大公司壟斷,因此對於一般人來說,數據的共享變得十分重要,而其中一個解決方法就是建立一個共享的數據中心。二、數據洪流與技術滯後的矛盾。首先是數據存儲能力與處理不匹配,對此我們可以採用對數據流進行實時處理、就近原則存儲和處理原始數據、購買數據存儲和分析服務等方法進行解決。再者,是分析手段與性能需求不匹配,主要原因是因爲傳統數據倉庫不再使用於大數據分析,對於此我們可以採用大規模併發、Map-Reduce分佈式計算、NoSQL管理併發存取等方法進行處理。三是社會需求與人才匱乏的矛盾。對此,培養優秀大數據人才已是當務之急。四、開放數據與保護隱私的矛盾。 

其中包含用戶隱私成爲犧牲品、有可能危害國家安全等問題,我們的解決思路就是發展隱私保護數據挖掘方法和完善立法。


4未來發展趨勢 

我認爲大數據將是未來的石油,而移動互聯網將成爲主要上網方式,移動大數據也將蓬勃發展。在此做出幾點預測:1移動大數據分析將逐步成爲雲計算和物聯網的研究聚焦點。2移動互聯網UGC和MGC數據的深度融合將催生新的產業。3專注於局部領域的數據分析服務將成爲近期產業創新主流。4Map-Reduce將仍保持活力,分佈式流數據分析方法將成爲機器學習理論研究和應用研究熱點。5數據共享是大勢所趨,但需要特別重視國家信息安全,開放數據需要立法支持,信息安全需要自主技術保障


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章