雲計算與大數據

1 雲計算初相識

雲計算一直都被認爲是一種被商業炒作出來的計算機概念,所以每當提到雲計算的時候我們都會不由的覺得這個概念很模糊,而且現在有關雲計算的概念也是衆說紛紜。聽了很多有關雲計算的講座,並且也閱讀了一些相關的數據我對雲計算也有了一點自己的見解。

雲計算雖然是有商業炒作的成分,但是雲計算的概念的提出也有其必然性,雲計算是一種能夠將動態伸縮的虛擬化資源通過互聯網以服務的方式提供給用戶的計算模式,用戶不需要知道如何管理那些支持雲計算的基礎設施。

雲計算是並行計算、分佈式計算和網格計算的融合和發展,從某種角度,也可以說是計算機科學概念的發展和商業實現;雲計算也是虛擬化、效用計算、面向服務的架構等概念混合演進的結果。

雲計算可以認爲包括以下幾個層次的服務:基礎設施即服務(IaaS),平臺即服務(PaaS)和軟件即服務(SaaS)。

IaaS:基礎設施即服務

IaaS(Infrastructure-as-a-Service):基礎設施即服務。消費者通過Internet可以從完善的計算機基礎設施獲得服務。例如:硬件服務器租用。

l  PaaS:平臺即服務

PaaS(Platform-as-a-Service):平臺即服務。PaaS實際上是指將軟件研發的平臺作爲一種服務,以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應用。但是,PaaS的出現可以加快SaaS的發展,尤其是加快SaaS應用的開發速度。例如:軟件的個性化定製開發。

l  SaaS:軟件即服務

SaaS(Software-as-a-Service):軟件即服務。它是一種通過Internet提供軟件的模式,用戶無需購買軟件,而是向提供商租用基於Web的軟件,來管理企業經營活動。Google Docs是Google公司推出的在線文檔服務,Google在Docs中整合了自由的Spreadsheets在線電子表格服務於收購Writely.com的在線文檔編輯服務,此外,Docs還包含了演示文檔服務。目前Google Docsqiye 用戶數量已經突破了200萬。如何管理公司的文檔估計是個永遠的話題,辦公軟件也要不停的購買,光是微軟office已經不能滿足應用了,今天客戶需要一個圖,馬上就得下載Phoshop,可能明天就會用到AutoCAD。現在有了Google Docs,就不用那麼麻煩了,再也不需要安裝任何程序,只要能上網,登錄服務器後就可以隨時隨地使用各種軟件了。顧客就是上帝的道理人人都明白,但是顧客有時候真的很讓人抓狂,不停的轉換思路和要求,好不容易寫好的文檔又要不停的修改。有了Google Docs之後,不需要一遍一遍的發新版本給老總了。

雲計算髮源於搜索引擎平臺,互聯網企業在創業階段出於追求低成本高效能的考慮開發出一種計算技術,目前已成爲提供各種互聯網服務的重要平臺,目前,某些企業也把以虛擬化技術爲基礎提供的IT資源服務包裝秤“雲計算”。

提到雲計算人們總是會說到它的如下優點:

l  快速滿足業務需求

企業用戶可以直接通過網絡購買服務,省掉了購買軟硬件和開發的環節,企業也不需要將精力放在該購買什麼設備,該怎麼佈線,什麼時候應該更新軟件這些和業務完全不相干的事情上了,所有的時間和精力都可以放到業務中去。

l  靈活可擴展

與計算提供的資源是彈性可擴展的,可以動態部署、動態調度、動態回收,以高效的方式滿足業務發展和平時運行分值的資源需求。

l  低成本、綠色節能

雲計算以PC集羣分佈式處理方式替代小型加盤陣的處理方式,可有效的降低建設成本。

l  集中化管理

雲計算採用虛擬化技術設得擴系統的物理資源統一調配、集中運維成爲可能。

l  維護專業化

服務器和存儲資源池的專業管理,使維護人員可以專注於特定領域的運維,有助於提高運維質量。

上面的這些優點使得雲計算變成一個非常誘人的概念,實際上它的所有的優點都是基於它的基礎是一個集羣,集羣的可擴展,可管理和低成本和節能。我有一個奇怪的想法,雲計算的出現與大數據時代的到來有着不可分割的聯繫,我分不清到底是大數據的出現助力了雲計算概念的提出,還是雲計算的概念出現激發了大數據的欣欣向榮。

2 大數據時代的到來

大數據的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實性)。互聯網擁有如此龐大的用戶數,特別是web2.0出現之後,所有的網民都是網絡內容的提供者。隨着網絡數據的激增,“信息爆炸”成爲了一個非常棘手的問題。

據英國學者詹姆斯.馬丁統計,人類知識的倍增週期,從19世紀的50年減少到80年代5年左右。還有報告說,全球印刷信息的生產量每5年翻一番,紐約時報一週的信息量即相當於17世紀學者畢生能夠接觸到的信息量的總和。近30年來,人類上傳的信息以及超過過去5000年信息生產的總和。其實,探究起來,人類社會賴以生存發展的三大基礎是物質、能量和信息。根據美國易安信贊助、IDC的題爲《經濟緊縮,數字宇宙膨脹》的研究報告顯示,2008年全球所創造出的數字信息比IDC原先預測的數字化的信息全部印成數並排列整齊,它們的長度將是從地球到冥王星距離的10倍。展望未來這個數字有望沒18個月翻一番。

數據量越來越多,之前的很多算法不能很好地工作,我們要如何來應付爆炸式的增長的數據呢?我們不經要問,計算機硬件的發展使得CPU的運算速度越來越快,我們是否需要擔心數據量大帶來的問題呢?

答案顯然是需要擔心,雖然有摩爾定律的支撐,但是隨着芯片上晶體管數目的增多,很多問題也會隨之到來。芯片上元件的集合尺寸總不可能無限地縮小下去,這就意味着總有一天,芯片單位面積上可集成的元件數量會達到極限。極限總有一天會到來。也就是我們不能依靠物理芯片的發張來解決處理大數據的問題。這時候聰明的人類自然不會束手就擒,有很多優秀的企業已經找到了解決方案。

2.1 一個故事一個解決方案

現在我們先來看一個有趣的故事。

1998年9月,24歲的布林和25歲的佩奇決定合夥開個公司,公司提供的唯一服務就是搜索引擎。在對商業計劃一無所知的情況下,布林從一位斯坦福校友那裏順利地拿到了第一筆投資:10萬美元,在朋友的一個車庫裏,布林和佩奇開始了開創Google的征程。窮學生沒有大錢買很貴的服務器,於是他們就買了很多便宜的個人電腦和便宜的小容量硬盤。但是這些便宜的器械的正確性無法得到保證,你不可能期待它們個個都能夠穩定可靠。於是他們決定寫一個容錯程序來保證系統的可靠性。到2000年的時候他們已經擁有了幾千臺這樣的服務器,他們利用網絡將這些電腦連接起來,利用自己寫的軟件來操作整個網絡中的所有電腦,這些連在一起的集羣是他們向外提供服務的基礎設施。這也許就是“雲計算”的雛形。

總的來說,隨着互聯網的發展,web2.0的浪潮使得大衆可以參與信息製造和編輯,從而導致信息增長具有無限性的趨勢。而摩爾定律的終結,使得在技術上和經濟上都沒有辦法依靠硬件性能的提升而解決這一問題。怎麼樣低成本的高效快速解決無限增長的信息存儲和計算問題是一個擺在科學家面前的命題。雲計算是採用大規模低成本計算單元通過IP網絡相連而組成的運算系統已提供運算服務技術。它具有高性能、低成本、通用性強的特點。所以說,雲計算回答了這樣的科學問題,那就是可以以較低成本和較高性能解決無限增長的海量信息的存儲和計算的問題。他使得IT基礎設計能夠實現資源化和服務化,使得用戶可以按需定製。從而改變了傳統IT基礎設施的交用和支付方式。

2.2 大數據與雲計算的千絲萬縷聯繫

Google和百度等公司要爲客戶提供信息檢索平臺,每天都有無數的數據產生,每天都有無數的請求帶來,那麼如果沒有一個快速穩定的計算平臺來處理這些數據,那麼搜索引擎必然將癱瘓。

快速的將海量的數據存儲到服務器中,爲海量的數據建立索引都是一項非常有挑戰性的工作,如果僅僅使用大型的服務器來做這些工作,效率還是不夠的,即便再好的服務器,它的計算能力也是有限的,但是雲計算平臺的可擴展性,多臺機器一起協調合作就能夠將對大數據的處理時間控制在可以接受的範圍內。

大數據就是互聯網發展到現今階段的一種表象特徵而已,沒有必要神話它或對它保持敬畏之心,在以雲計算爲代表的技術創新大幕的襯托下,這些原本很難收集和使用的數據開始容易被利用起來了,通過各行各業的不斷創新,大數據會逐步爲人類創造更多的價值。

其次,想要系統的認知大數據,必須要全面而細緻的分解它,我着手從三個層面來展開:

第一層面是理論,理論是認知的必經途徑,也是被廣泛認同和傳播的基線。我會從大數據的特徵定義理解行業對大數據的整體描繪和定性;從對大數據價值的探討來深入解析大數據的珍貴所在;洞悉大數據的發展趨勢;從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術,技術是大數據價值體現的手段和前進的基石。分別從雲計算、分佈式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。

第三層面是實踐,實踐是大數據的最終價值體現。可以分別從互聯網的大數據,政府的大數據,企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

雲計算助力實現創業夢

雲計算不僅僅是技術,它更是一種商業運營模式。雲計算可以幫助年輕人降低創業門檻兒專注於互聯網服務本身的創新,從而讓普通的年輕人可以發家致富,夢想成真。

下面講一個故事來說明雲計算對於創業的飛天助力。

2006年8月,一家名爲Animoto的小公司在紐約悄然成立。其創始人斯迪維克裏夫頓是一個剛從大學畢業不久的年輕人,他熱衷於拍照和進行照片處理他看到人們都把旅行中拍攝的照片編輯成Flash短片的需求,於是和幾個年輕人一起在幾臺服務器上完成了一個機遇網絡的視屏展示服務平臺。通過這個平臺,可以可以上傳他們的圖片和音樂並自動生成定製的視屏,同時可以和他們的朋友分享這些視頻。

公司創建之初,他們都把這幾臺服務器放在辦公室裏,當時,每天的訪問量大概是5000左右。這幾臺服務器,恰能分擔這些負載。所以斯迪維他們這幾個管理經營者的日子過得優哉遊哉。他們的商業模式主要是後向廣告收費,也偶有部分服務是向互聯網用戶進行前向收費,比如有些用戶想得到全尺寸的視頻光盤,或者希望製作更長時間的視頻,或者是獲得相關的沖印照片和製作服務,這就需要用戶在獲得服務前支付一些費用。

2008年四月中旬,Facebook社區熱門推薦了Animoto的這個應用給他的成員,這使得用戶對這個應用產生的興趣出現了一個小小的高潮,三天時間裏有約75萬人在Animoto網站上進行了註冊。在高峯期,每小時約有兩萬人使用該服務。如此快速的用戶增長反而給Animoto帶來了災難,他們那幾臺服務器因爲不堪重負而紛紛宕機,史迪威他們幾個忙得不可開交,焦頭爛額。由於併發用戶數太多,該互聯網應用的響應速度也慢如蝸牛,於是Facebook社區對其惡評如潮。

創辦公司的幾個年輕人爲了應付突增的訪問量,必須將原始的服務器擴展爲原來的100倍,但是史蒂維等年輕人沒有資金來購買如此之多的服務器,再加上他們也沒有技術和能力去運營和管理這麼多的服務器。

剛好史蒂維的大學同學邁克爾雪中送炭。邁克爾看到了亞馬遜彈性雲的巨大潛力,在加利福尼亞聖塔芭芭拉創辦了一家叫做RightScale的科技創新公司,專門爲亞馬遜的雲計算設計應用軟件。邁克爾告訴史蒂維:“你根本沒有必要購買自己的服務器和存儲設備,你可以租用亞馬遜的彈性計算雲或者亞馬遜的簡單存儲服務來實現你的這個應用需求,並且這些IT資源的租用相當便宜。我的公司可以幫助你把現有的互聯網應用移植到亞馬遜的彈性計算雲上。”

通過這個合作,Animoto只需爲應付三天的流量激增付費,並且不需要購買或者配置任何新的服務器。它把負載交給亞馬遜承擔,一臺服務器一小時的費用只有約10美分,包含了帶寬、存儲和相關服務帶來的一些邊際成本。

從上面講述的這個真實的例子我們可以看到雲計算確實可以幫助很多年輕人比較輕鬆的實現自己的創業夢想,有了雲計算的幫助我們的創業門檻明顯的下降了,我們可以不用擔心資金和IT技術所帶來的煩惱,我們要做的最主要的事就是將精力都放在業務邏輯的處理和分析上。這對於年親人來說無疑是一個非常好的消息。

這裏借用《雲計算深刻改變未來》的一段話來結束我的文章。

山雨欲來“雲”滿樓。伴隨着經濟蕭條和金融危機,我們將面臨一次新的技術革命的山雨欲來,而云計算勢必會成爲這一新的技術革命的主角。每一次技術革命都會誕生和成長起一批世界級的優秀公司。發生在二十世紀八九十年代的個人計算機技術革命,主力了微軟、惠普、戴爾、甲骨文、SAP、聯想、方正、同方等一批優秀公司的誕生和成長;在90年代記近十年來的互聯網技術革命浪潮中,催生和成長了一批像思科、雅虎、google、亞馬遜、ebey、新浪、網易、百度、阿里巴巴這樣優秀的公司;面對發生在當下的以雲計算爲主角的又一次技術革命,我相信會有更多的中國企業抓住機遇,迎頭猛進,成長爲世界級的優秀公司。我們政府官員,更應該在這樣的機會下,在政策層面,爲這些公司的成長給予支持和鼓勵。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章