關於大數據的八大熱點問題

1.數據科學與大數據的學科邊界

這一問題綜合了兩個問題,即大數據的基本內涵與數據的科學問題。前者關注的是大數據的基本定義和基本結構。迄今爲止,什麼是大數據,在產業界、學術界並沒有形成一個公認的科學定義,大數據的內涵與外延也缺乏清晰的說明。大數據區別於其他數據的關鍵特性是什麼?IBM提出了3V的說法,即volume(體量大)、variety(模式多)和velocity(速度快)。爾後又有人提出了另一個V,即value(價值),表示大數據雖然價值總量高但其價值密度低。另外,大數據是否就意味着全數據,還有待進一步討論與澄清。最後,還需要爲動態、高維、複雜的大數據建立形式化、結構化的描述方法,進而在此基礎上發展大數據處理技術。後者關注的是數據界與物理界、人類社會之間的關聯與差異,探討是否存在獨立於應用領域的數據科學。如果存在數據科學,其學科問題的分類體系又是什麼?目前已有的共識是,大數據的複雜性主要來自數據之間的複雜聯繫。另外,新型學習理論和認知理論等應當是數據科學的重要組成部分。

2.數據計算的基本模式與範式

大數據的諸多突出特性使得傳統的數據分析、數據挖掘、數據處理的方式方法都不再適用。因此,面對大數據,我們需要有數據密集型計算的基本模式和新型的計算範式,需要提出數據計算的效率評估方法以及研究數據計算複雜性等基本理論。由於數據體量太大,甚至有的數據本身就以分佈式的形式存在,難以集中起來處理,因此對於大數據的計算需要從中心化的、自頂向下的模式轉爲去中心化的、自底向上、自組織的計算模式。另外,面對大數據將形成基於數據的智能,我們可能需要尋找類似“數據的體量+簡單的邏輯”的方法去解決複雜問題。

3.大數據特性與數據態

這一問題綜合了三個候選問題,即大數據的關係維複雜性、大數據的空間維複雜性和大數據的時間維複雜性問題。大數據往往由大量源頭產生,而且常包含圖像、視頻、音頻、數據流、文本、網頁等等不同的數據格式,因此其模態是多種多樣的。主要來源於多模態的大數據之間存在着錯綜複雜的關聯關係,這種異質的關聯關係有時還動態變化,互爲因果,因此導致其關聯模式也非常複雜。大數據的空間維問題主要關注人、機、物三元世界中大數據的產生、感知與採集,以及不同粒度下數據的傳輸、移動、存儲與計算。另外,還需研究大數據在空間與密度的非均衡態對其分析與處理所帶來的理論與技術挑戰。而大數據的時間維問題意圖在時間維度上研究大數據的生命週期、狀態與特徵,並探索大數據的流化分析、增量式的學習方法與在線推薦。最後,研究大數據的離線與在線處理對時效性要求。

4.大數據的數據變換與價值提煉

這一問題主要由“如何將大數據變小”與“如何進行大數據的價值提煉”兩個問題組成,前者要在不改變數據基本屬性的前提下對數據進行清洗,在儘量不損失價值的條件下減小數據規模。爲此,需要研究大數據的抽樣、去重、過濾、篩選、壓縮、索引、提取元數據等數據變換方法,直接將大數據變小,這可以看作是大數據的“物理變化”。後者可看作是大數據的“化學反應”,對大數據的探索式考察與可視化將發揮作用,人機的交互分析可以將人的智慧融入這一過程,通過羣體智慧、社會計算、認知計算對數據的價值進行發酵和提煉,實現從數據分析到數據價值判定和數據製造的價值飛躍。

5.大數據的安全和隱私問題

只要有數據,就必然存在安全與隱私的問題。隨着數據的增多,大數據面臨着重大的風險和威脅,需要遵守更多更合理的規定,傳統的數據保護方法無法滿足這一要求。因此,面對大數據的安全與隱私保護,有大量的挑戰急需得到解決,具體包括:大數據計算倫理學、大數據密碼學、分佈式編程框架中的安全計算、遠程數據計算的可信任度、數據存儲和日誌管理的安全性、基於隱私和商業利益保護的數據挖掘與分析、強制的訪問控制和安全通信、多粒度訪問控制以及數據來源和數據通道的可信等。

6.大數據對IT技術架構的挑戰

這一問題是對熱點問題“大數據對於系統的要求”的新解讀。大數據對於系統,不管是存儲系統、傳輸系統還是計算系統都提出了很多非常苛刻的要求,而現有的數據中心技術難以滿足大數據的需求。譬如,存儲能力的增長遠遠趕不上數據的增長,設計最合理的分層存儲架構已成爲信息系統的關鍵。分佈式存儲架構不僅需要scale-up式的可擴展性,也需要scale-out式的可擴展性。因此對整個IT架構進行革命性地重構勢在必行。此外,大數據平臺(包括計算平臺、傳輸平臺、存儲平臺等)是大數據技術鏈條中的瓶頸,特別是大數據的高速傳輸,需要革命性的新技術。

7.大數據的應用及產業鏈

大部分大數據專家委員會的委員都認爲,大數據的研究與應用一定要與領域知識相結合,尤其在開展大數據研究的初期,計算機領域的科技工作者一定要虛心向各領域的科技人員請教,真正瞭解和熟悉各領域發生數據的特點。針對不同的領域環境和不同的應用需求,大數據的獲取、分析、反饋的方式有所不同。爲此,針對不同行業與領域業務需求,我們需要展開數據特徵與業務特徵的研究,進行大數據應用分類與技術需求分析,構建從需求分析與業務模型,到數據建模、數據採集和總結反饋,最後到數據分析的全生命週期應用模型。其實,不同的應用環境和應用目標代表了不同的價值導向,這對於大數據的價值密度有很大的影響。

8.大數據的生態環境問題


大數據作爲21世紀的“新石油”,是一種寶貴的戰略資源,因此對大數據的共享與管理無疑是其生態環境的一部分。對於大數據的共享與管理,其中所有權是基礎,這既是技術問題,也是法理問題。對數據的權益需要進行具體認定並進行保護,進而在保護好多方利益的前提下解決數據共享問題。爲此,可能會遇到不少的障礙,包括人們對法律或信譽的顧慮,保護競爭力的需要,以及數據存儲的位置和方式不利於數據的訪問和傳輸等。此外,生態環境問題還涉及與政治、經濟、社會、法律、科學等等的交叉影響問題。因爲大數據將對國家治理模式、企業的決策、組織和業務流程、個人生活方式都將產生巨大的影響,所以這種影響模式值得深入研究。

大數據無處不在,人們每天創造出越來越多的應用來收穫其中的價值,無論是在我們的個人生活還是專業領域,從很多方面來說,大數據是數據產生速度的一種反映,實際上有分析家預計到2020年,數據產生的速度,將會是如今數據產生速度的50倍。

一方面,科學數據的增長等,加速了這種數據的猛增,舉例來說:歐洲研究組織進行的核試驗每秒鐘能產生40TB的數據。

另一方面,一些非常積極的社會和經濟變化,也加劇了數據的泛濫,想想這些例子,迅速普及的移動設備,有GPS功能和富媒體,還有社交網絡讓全世界數十億人進行數碼聯繫,它們一起讓人們有了新的生活方式,各人間能夠進行及時、瞬時,而且幾乎不聽的數據交換,這些和很多生活中即將出現的做事方式,如今產生的數據按從前定義就是大數據。

大數據——一個不算祕密的祕密,就是雲計算的特點讓它水漲船高,其實就是因爲雲計算的屬性,比如經濟規模,消費承受力,靈活性,延伸性等,這些都讓我們能夠創造大數據,並應對其挑戰,反過來這些大數據也主宰並讓未來的設計繁榮,並且加強擴展雲計算,他們共同形成永不停歇的發展循環。簡單來說,大數據挑戰並且讓所有人在暴露在信息基礎設施的細節和極限之下,推動用戶尋找思想領袖,並強迫他們實驗,並尋求下一代突破,當這一切發生後,人們就能夠解決之前解決不了的問題,他們能夠應對之前無法應對的挑戰。

我們可以提出這樣的問題,比如:到底多大算大數據?這其實是個非常有趣的問題,大家的回答目前好像很不一致,不過這種模棱兩可併名優阻擋數據的使用,一種比較普遍的誤解就是大數據就是根據數據的大小來確定的,如果它是數據,而且還很大那它就一定是大數據,數據大小事判斷的原則之一,大數據很多其它方面的屬性跟數據的大小關係不大,例如:考慮數據產生的速度和同時在產生數據的數據源數量和種類。

們來看看,到底是通過什麼來界定大數據的。我想我們都會同意,一個40MB的PPT演示文件、1TB的醫療圖像和1PB的電影文件都很大,不過我們的問題是,它們是大數據嗎?僅從它們的大小來說,我可以爭辯說它們不是大數據,今天看來很大的文件明天也許就不算大了,不過我會說它們都是大數據,因爲它們中的每一個都將應用它們的普遍技術推到了極限。40MB的PPT演示文件是大數據,因爲沒法跟同事和客戶用電子郵件分享;1TB的醫療圖像是大數據,因爲無法輕易並充分地在遠程顯示器上實時顯示,以供醫生在爲病人進行診斷使用;1PB的電影是大數據,因爲無法在有效時間內對影片進行合理剪輯。

這是個好的開始,我們已經糾正了對於大數據的最大誤解,那就是大數據就是看數據多大,我們能看到大數據有各種屬性,大小隻是其中之一,它們還能調整到系統的性能限制或是商業需求,但像數據產生速度這樣的屬性呢?或是產生數據的來源數量和種類呢?這些沒法滿足的定義,這就是爲什麼大數據能適用於從大小上來說根本不大的數據,有些能夠成爲大數據是因爲它們的份數,因爲它們由很多以某種關係聯繫起來的小數據碎片組成,這些數量衆多的小數據組合在一起,就是大數據。比如說這些份數據,能在智能電錶上看到,它們被用於世界範圍的每個家庭,數據被傳到電力公司,記錄每家每20到30分鐘產生和消耗的電力。

現在把這個數量乘以一個城市的家庭數量或是一個小鎮的家庭數,大數據指的就是在一定時間之內或是在一定地理範圍之內需要分析的數據份數,大份數數據還能在日誌中找到,數據輸入的次數非常之多,合在一起就形成大數據。在交易處理中也有大數據,很多交易合在一起,產生的數據庫就有大數據。大數據的另一個又去的方面就是從結構來看,大數據並不都是一樣的,有些大數據有固定的格式。比如:交易型數據庫,每一條錄入信息都能分成幾種範疇,每一個都有明確定義的數據類型。有些大數據包含博客類錄入信息,裏面包含文本、圖表、圖像、聲音和視頻,這些數據都存在一起。

這就帶來了大數據的最後一方面,生成的多樣性以及相互的關聯性。大數據的生成,從應用程序自動生成的信息,比如天氣預報的圖像到簡單的錄入信息;比如人們錄下的日常生活片段;或者是鍵入的文字信息,大數據的更新速度也很驚人,而且具有互動性和增量性,產生的數據隨時間不斷變化,而且隨着時間推移,數據會越來越準確,而且產生運算並推導出更多與數據相關的數據。

不管大小如何,數據的產生速度和來源如何,或是數據的哪一部分,大數據趨驅使我們去盡力理解這種混沌,大數據驅使我們在不斷變化的數據裏尋找它們的意義所在,並且尋找所產生數據之間的聯繫。對這種相互關係的理解,加上能收穫藏在大數據裏信息解開了大數據的價值,而這以能夠處理我們大數據的挑戰爲前提。

收集、分析並且理解大數據,已經成爲了我們如今各異的策略,不過這會成爲我們明天的現實生活,進行合理的漸進性分析要看有沒有足夠數據,讓你的結果有意義並且準確,這樣才能帶來更精準的行動,回報是給公司和客戶帶來更高利潤並省下更多錢。所以說到大數據,問題其實不是爲什麼要關注大數據,而是該如何接近大數據,和如何能現在就從中獲益。

在不久的將來,大數據也能被廣泛的應用於建設行業。造價通也秉承着大數據時代技術創新,將雲計算、雲存儲融合進大數據平臺戰略中,爲整個建設行業創造更多創新的雲服務。相信造價通這個大數據平臺將來定會引領行業人士一起去解開大數據之中的寶貴价值。

2013年度大數據發展趨勢

1.數據資源化

這一候選發展趨勢得到了委員們最多的關注。數據的資源化是指大數據在企業、社會和國家層面成爲重要的戰略資源。2013年大數據將成爲新的戰略制高點,是大家搶奪的新焦點;大數據將不斷成爲機構的資產,成爲提升機構和公司競爭力的有力武器。

2.大數據隱私問題

大數據對於隱私將是一個重大挑戰,現有的隱私保護法規和技術手段難於適應大數據環境,個人隱私越來越難以保護,有可能會出現有償隱私服務,數據“面罩”將會流行。而且預計2013年將會頒佈關於大數據隱私的標準和條例。

3.大數據與雲計算等深度融合

大數據處理離不開雲計算技術,雲計算爲大數據提供彈性可擴展的基礎設施支撐環境以及數據服務的高效模式,大數據則爲雲計算提供了新的商業價值,因此從2013年開始大數據技術與雲計算技術必然進入更完美的結合期。總體而言,雲計算、物聯網、移動互聯網等新興計算形態,既是產生大數據的地方,也是需要大數據分析方法的領域。

4.基於海量數據(知識)的智能

2013年將會有更多基於海量數據(知識)的智能成果出現,甚至有可能產生人工大腦。至少類似於Chinese Room這樣的問題將得到徹底解決。因爲所有人們能想到的問題,在問之前就都已經被人回答過了,所以,即便在沒有思考和邏輯的情況下,也可以利用前人的經驗同樣可以起到腦的功能,甚至也可能通過大數據直接進行推理。

5.大數據分析的革命性方法

在大數據分析上,2013年將出現革命性的新方法。就像計算機和互聯網一樣,大數據可能是新一波的技術革命。基於大數據的數據挖掘、機器學習和人工智能可能會改變小數據/小世界裏的很多算法和基礎理論,這方面很可能會產生理論級別的突破。

6.大數據安全

大數據的安全令人擔憂,大數據的保護越來越重要——大數據的不斷增加,對數據存儲的物理安全性要求會越來越高,從而對數據的多副本與容災機制提出更高的要求。進入2013年,網絡和數字化生活使得犯罪分子更容易獲得關於人的信息,也有了更多不易被追蹤和防範的犯罪手段,可能會出現更高明的騙局,也就是說大數據已經把你出賣。

7.數據科學興起

2013年數據科學作爲一個與大數據相關的新興學科出現,將有專門針對數據科學的專業形成,有博士、碩士甚至本科生出現。同時,有大量數據科學的專著出版。

8.數據共享聯盟

數據共享聯盟將在2013年逐漸壯大成爲產業的核心一環。數據是基礎,之前在科技部的支持下,已建立了多個領域的數據共享平臺,包括氣象、地震、林業、農業、海洋、人口與健康、地球系統科學數據共享平臺等。之後,數據共享將擴展到企業層面。

9.大數據新職業

大數據將在2013年催生一批新的就業崗位,如數據分析師、數據科學家等。具有豐富經驗的數據分析人才成爲稀缺資源,數據驅動型工作機會將呈現出爆炸式的增長。大數據領域最優秀的科學家們紛紛轉行股票、期貨、甚至賭博(能比別人多看遠一秒鐘,就是效益)。

10.更大的數據

現在的大數據,將來都不夠大。2013年,大數據將獲得更多的關注、研究、開發和應用,所引起的結果是:體現大數據特徵的體量大、速度快、模態多、價值密度低等幾個V的特性將變得更加極致。尤其是大數據的價值密度會越來越低——數據不斷地增長,如何去除大數據中的噪聲等垃圾數據,進而從中挖掘和提取出有價值信息的難度也隨之增大。

2012年Hadoop與大數據技術大會上發佈的《大數據熱點問題和2013年發展趨勢分析》報告,今天讀來仍有很多收穫。以“應用驅動的架構與技術”爲主題的第七屆中國大數據技術大會(Big Data Technology Conference 2013,BDTC 2013)將於2013年12月5日-6日在北京世紀金源大酒店召開。會上我們還將繼續發佈2014年趨勢分析,如果有好建議,歡迎參加!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章