雲計算技術的產生、概念、原理、應用和前景

2006年穀歌推出了“Google 101計劃”,並正式提出“雲”的概念和理論。隨後亞馬遜、微軟、惠普、雅虎、英特爾、IBM等公司都宣佈了自己的“雲計劃”,雲安全、雲存儲、內部雲、外部雲、公共雲、私有云……一堆讓人眼花繚亂的概念在不斷衝擊人們的神經。那麼到底什麼是雲計算技術呢?對雲計算技術的產生、概念、原理、應用和前景又在哪裏?

一、雲計算思想的產生

傳統模式下,企業建立一套IT系統不僅僅需要購買硬件等基礎設施,還有買軟件的許可證,需要專門的人員維護。當企業的規模擴大時還要繼續升級各種軟硬件設施以滿足需要。對於企業來說,計算機等硬件和軟件本身並非他們真正需要的,它們僅僅是完成工作、提供效率的工具而已。對個人來說,我們想正常使用電腦需要安裝許多軟件,而許多軟件是收費的,對不經常使用該軟件的用戶來說購買是非常不划算的。可不可以有這樣的服務,能夠提供我們需要的所有軟件供我們租用?這樣我們只需要在用時付少量“租金”即可“租用”到這些軟件服務,爲我們節省許多購買軟硬件的資金。

我們每天都要用電,但我們不是每家自備發電機,它由電廠集中提供;我們每天都要用自來水,但我們不是每家都有井,它由自來水廠集中提供。這種模式極大得節約了資源,方便了我們的生活。面對計算機給我們帶來的困擾,我們可不可以像使用水和電一樣使用計算機資源?這些想法最終導致了雲計算的產生。

雲計算的最終目標是將計算、服務和應用作爲一種公共設施提供給公衆,使人們能夠像使用水、電、煤氣和電話那樣使用計算機資源。

雲計算模式即爲電廠集中供電模式。在雲計算模式下,用戶的計算機會變的十分簡單,或許不大的內存、不需要硬盤和各種應用軟件,就可以滿足我們的需求,因爲用戶的計算機除了通過瀏覽器給“雲”發送指令和接受數據外基本上什麼都不用做便可以使用雲服務提供商的計算資源、存儲空間和各種應用軟件。這就像連接“顯示器” 和“主機”的電線無限長,從而可以把顯示器放在使用者的面前,而主機放在遠到甚至計算機使用者本人也不知道的地方。雲計算把連接“顯示器”和“主機”的電線變成了網絡,把“主機”變成雲服務提供商的服務器集羣。

在雲計算環境下,用戶的使用觀念也會發生徹底的變化:從“購買產品”到“購買服務”轉變,因爲他們直接面對的將不再是複雜的硬件和軟件,而是最終的服務。用戶不需要擁有看得見、摸得着的硬件設施,也不需要爲機房支付設備供電、空調製冷、專人維護等等費用,並且不需要等待漫長的供貨週期、項目實施等冗長的時間,只需要把錢匯給雲計算服務提供商,我們將會馬上得到需要的服務。

二、雲計算的概念

雲計算(Cloud Computing)是由分佈式計算(Distributed Computing)、並行處理(Parallel Computing)、網格計算(Grid Computing)發展來的,是一種新興的商業計算模型。目前,對於雲計算的認識在不斷的發展變化,雲計算沒仍沒有普遍一致的定義。

中國網格計算、雲計算專家劉鵬給出如下定義 :“雲計算將計算任務分佈在大量計算機構成的資源池上,使各種應用系統能夠根據需要獲取計算力、存儲空間和各種軟件服務”。

狹義的雲計算指的是廠商通過分佈式計算和虛擬化技術搭建數據中心或超級計算機,以免費或按需租用方式向技術開發者或者企業客戶提供數據存儲、分析以及科學計算等服務,比如亞馬遜數據倉庫出租生意。

廣義的雲計算指廠商通過建立網絡服務器集羣,向各種不同類型客戶提供在線軟件服務、硬件租借、數據存儲、計算分析等不同類型的服務。廣義的雲計算包括了更多的廠商和服務類型,例如國內用友、金蝶等管理軟件廠商推出的在線財務軟件,谷歌發佈的Google應用程序套裝等。

通俗的理解是,雲計算的“雲“就是存在於互聯網上的服務器集羣上的資源,它包括硬件資源(服務器、存儲器、CPU等)和軟件資源(如應用軟件、集成開發環境等),本地計算機只需要通過互聯網發送一個需求信息,遠端就會有成千上萬的計算機爲你提供需要的資源並將結果返回到本地計算機,這樣,本地計算機幾乎不需要做什麼,所有的處理都在雲計算提供商所提供的計算機羣來完成。

三、雲計算的主要服務形式和典型應用

雲計算還處於萌芽階段,有龐雜的各類廠商在開發不同的雲計算服務。雲計算的表現形式多種多樣,簡單的雲計算在人們日常網絡應用中隨處可見,比如騰訊QQ空間提供的在線製作Flash圖片,Google的搜索服務,Google Doc, Google Apps等。目前,雲計算的主要服務形式有:SaaS(Software as a Service), PaaS(Platform as a Service), IaaS(Infrastructure as a Service)。

(1)軟件即服務(SaaS)

SaaS服務提供商將應用軟件統一部署在自己的服務器上,用戶根據需求通過互聯網向廠商訂購應用軟件服務,服務提供商根據客戶所定軟件的數量、時間的長短等因素收費,並且通過瀏覽器向客戶提供軟件的模式。這種服務模式的優勢是,由服務提供商維護和管理軟件、提供軟件運行的硬件設施,用戶只需擁有能夠接入互聯網的終端,即可隨時隨地使用軟件。這種模式下,客戶不再像傳統模式那樣花費大量資金在硬件、軟件、維護人員,只需要支出一定的租賃服務費用,通過互聯網就可以享受到相應的硬件、軟件和維護服務,這是網絡應用最具效益的營運模式。對於小型企業來說,SaaS是採用先進技術的最好途徑。

以企業管理軟件來說,SaaS模式的雲計算ERP可以讓客戶根據併發用戶數量、所用功能多少、數據存儲容量、使用時間長短等因素不同組合按需支付服務費用,既不用支付軟件許可費用,也不需要支付採購服務器等硬件設備費用,也不需要支付購買操作系統、數據庫等平臺軟件費用,也不用承擔軟件項目定製、開發、實施費用,也不需要承擔IT維護部門開支費用,實際上雲計算ERP正是繼承了開源ERP免許可費用只收服務費用的最重要特徵,是突出了服務的ERP產品。

目前,Salesforce.com是提供這類服務最有名的公司,Google Doc, Google Apps和Zoho Office也屬於這類服務。

(2)平臺即服務(PaaS)

把開發環境作爲一種服務來提供。這是一種分佈式平臺服務,廠商提供開發環境、服務器平臺、硬件資源等服務給客戶,用戶在其平臺基礎上定製開發自己的應用程序並通過其服務器和互聯網傳遞給其他客戶。PaaS能夠給企業或個人提供研發的中間件平臺,提供應用程序開發、數據庫、應用服務器、試驗、託管及應用服務。

Google App Engine, Salesforce的force.com平臺,八百客的800APP是PaaS的代表產品。以Google App Engine爲例,它是一個由python應用服務器羣、BigTable數據庫及GFS組成的平臺,爲開發者提供一體化主機服務器及可自動升級的在線應用服務。用戶編寫應用程序並在Google的基礎架構上運行就可以爲互聯網用戶提供服務,Google提供應用運行及維護所需要的平臺資源。

(3)基礎設施服務(IaaS)

IaaS即把廠商的由多臺服務器組成的“雲端”基礎設施,作爲計量服務提供給客戶。它將內存、I/O設備、存儲和計算能力整合成一個虛擬的資源池爲整個業界提供所需要的存儲資源和虛擬化服務器等服務。這是一種託管型硬件方式,用戶付費使用廠商的硬件設施。例如Amazon Web服務(AWS), IBM的BlueCloud等均是將基礎設施作爲服務出租。

IaaS的優點是用戶只需低成本硬件,按需租用相應計算能力和存儲能力,大大降低了用戶在硬件上的開銷。

 

目前,以Google雲應用最具代表性,例如GoogleDocs、GoogleApps、Googlesites,雲計算應用平臺GoogleApp Engine。

GoogleDocs是最早推出的雲計算應用,是軟件即服務思想的典型應用。它是類似於微軟的Office的在線辦公軟件。它可以處理和搜索文檔、表格、幻燈片,並可以通過網絡和他人分享並設置共享權限。Google文件是基於網絡的文字處理和電子表格程序,可提高協作效率,多名用戶可同時在線更改文件,並可以實時看到其他成員所作的編輯。用戶只需一臺接入互聯網的計算機和可以使用Google文件的標準瀏覽器即可在線創建和管理、實時協作、權限管理、共享、搜索能力、修訂歷史記錄功能,以及隨時隨地訪問的特性,大大提高了文件操作的共享和協同能力。

GoogleAPPs是Google企業應用套件,使用戶能夠處理日漸龐大的信息量,隨時隨地保持聯繫,並可與其他同事、客戶和合作伙伴進行溝通、共享和協作。它集成了Cmail、GoogleTalk、Google日曆、GoogleDocs、以及最新推出的雲應用GoogleSites、API擴展以及一些管理功能,包含了通信、協作與發佈、管理服務三方面的應用,並且擁有着雲計算的特性,能夠更好的實現隨時隨地協同共享。另外,它還具有低成本的優勢和託管的便捷,用戶無需自己維護和管理搭建的協同共享平臺。

Googlesites是Google最新發布的雲計算應用,作爲GoogleApps的一個組件出現。它是一個側重於團隊協作的網站編輯工具,可利用它創建一個各種類型的團隊網站,通過Googlesites可將所有類型的文件包括文檔、視頻、相片、日曆及附件等與好友、團隊或整個網絡分享。

Google AppEngine是Google在2008年4月發佈的一個平臺,使用戶可以在Google的基礎架構上開發和部署運行自己的應用程序。目前,Google AppEngine支持Python語言和Java語言,每個Google AppEngine應用程序可以使用達到500MB的持久存儲空間及可支持每月500萬綜合瀏覽量的帶寬和CPU。並且,Google AppEngine應用程序易於構建和維護,並可根據用戶的訪問量和數據存儲需要的增長輕鬆擴展。同時,用戶的應用可以和Google的應用程序集成,Google AppEngine還推出了軟件開發套件(SDK),包括可以在用戶本地計算機上模擬所有Google AppEngine服務的網絡服務器應用程序。

 

四、雲計算的核心技術

雲計算系統運用了許多技術,其中以編程模型、數據管理技術、數據存儲技術、虛擬化技術、雲計算平臺管理技術最爲關鍵。

(1)編程模型

MapReduce是Google開發的java、Python、C++編程模型,它是一種簡化的分佈式編程模型和高效的任務調度模型,用於大規模數據集(大於1TB)的並行運算。嚴格的編程模型使雲計算環境下的編程十分簡單。MapReduce模式的思想是將要執行的問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序將數據切割成不相關的區塊,分配(調度)給大量計算機處理,達到分佈式運算的效果,再通過Reduce程序將結果彙整輸出。

(2) 海量數據分佈存儲技術

雲計算系統由大量服務器組成,同時爲大量用戶服務,因此雲計算系統採用分佈式存儲的方式存儲數據,用冗餘存儲的方式保證數據的可靠性。雲計算系統中廣泛使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。

GFS即Google文件系統(Google File System),是一個可擴展的分佈式文件系統,用於大型的、分佈式的、對大量數據進行訪問的應用。GFS的設計思想不同於傳統的文件系統,是針對大規模數據處理和Google應用特性而設計的。它運行於廉價的普通硬件上,但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。

一個GFS集羣由一個主服務器(master)和大量的塊服務器(chunkserver)構成,並被許多客戶(Client)訪問。主服務器存儲文件系統所以的元數據,包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置。它也控制系統範圍的活動,如塊租約(lease)管理,孤兒塊的垃圾收集,塊服務器間的塊遷移。主服務器定期通過HeartBeat消息與每一個塊服務器通信,給塊服務器傳遞指令並收集它的狀態。GFS中的文件被切分爲64MB的塊並以冗餘存儲,每份數據在系統中保存3個以上備份。

客戶與主服務器的交換只限於對元數據的操作,所有數據方面的通信都直接和塊服務器聯繫,這大大提高了系統的效率,防止主服務器負載過重。

(3) 海量數據管理技術

雲計算需要對分佈的、海量的數據進行處理、分析,因此,數據管理技術必需能夠高效的管理大量的數據。雲計算系統中的數據管理技術主要是Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase。

BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一個大型的分佈式數據庫,與傳統的關係數據庫不同,它把所有數據都作爲對象來處理,形成一個巨大的表格,用來分佈存儲大規模結構化數據。

Google的很多項目使用BT來存儲數據,包括網頁查詢,Google earth和Google金融。這些應用程序對BT的要求各不相同:數據大小(從URL到網頁到衛星圖象)不同,反應速度不同(從後端的大批處理到實時數據服務)。對於不同的要求,BT都成功的提供了靈活高效的服務。

(4)虛擬化技術

通過虛擬化技術可實現軟件應用與底層硬件相隔離,它包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據對象可分成存儲虛擬化、計算虛擬化、網絡虛擬化等,計算虛擬化又分爲系統級虛擬化、應用級虛擬化和桌面虛擬化。

(5)雲計算平臺管理技術

雲計算資源規模龐大,服務器數量衆多並分佈在不同的地點,同時運行着數百種應用,如何有效的管理這些服務器,保證整個系統提供不間斷的服務是巨大的挑戰。

雲計算系統的平臺管理技術能夠使大量的服務器協同工作,方便的進行業務部署和開通,快速發現和恢復系統故障,通過自動化、智能化的手段實現大規模系統的可靠運營。

 

五、典型雲計算平臺介紹

由於雲計算技術範圍很廣,目前各大IT企業提供的雲計算服務主要根據自身的特點和優勢實現的。下面以Google、IBM、Amazon爲例說明:

(1)Google 的雲計算平臺

Google的硬件條件優勢,大型的數據中心、搜索引擎的支柱應用,促進Google雲計算迅速發展。Google的雲計算主要由MapReduce、Google文件系統(GFS)、BigTable組成。它們是Google內部雲計算基礎平臺的3個主要部分。Google 還構建其他雲計算組件,包括一個領域描述語言以及分佈式鎖服務機制等。Sawzall是一種建立在MapReduce基礎上的領域語言,專門用於大規模的信息處理。Chubby是一個高可用、分佈式數據鎖服務,當有機器失效時,Chubby使用Paxos算法來保證備份。

(2)IBM“藍雲”計算平臺

“藍雲”解決方案是由IBM雲計算中心開發的企業級雲計算解決方案。該解決方案可以對企業現有的基礎架構進行整合,通過虛擬化技術和自動化技術,構建企業自己擁有的雲計算中心,實現企業硬件資源和軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份,打破應用對資源的獨佔,從而幫助企業實現雲計算理念。

IBM 的“藍雲”計算平臺是一套軟、硬件平臺,將Internet上使用的技術擴展到企業平臺上,使得數據中心使用類似於互聯網的計算環境。“藍雲”大量使用了IBM先進的大規模計算技術,結合了IBM自身的軟、硬件系統以及服務技術,支持開放標準與開放源代碼軟件。

“藍雲”基於IBM Almaden研究中心的雲基礎架構,採用了Xen和PowerVM虛擬化軟件,Linux操作系統映像以及Hadoop軟件(Google File System以及MapReduce的開源實現)。IBM已經正式推出了基於x86芯片服務器系統的“藍雲”產品。下圖爲IBM “藍雲”的架構:

 

由圖可知,“藍雲”計算平臺由一個數據中心、IBM Tivoli部署管理軟件(Tivoli provisioning manager)、IBM Tivoli監控軟件(IBM Tivoli monitoring)、IBM WebSphere應用服務器、IBM DB2數據庫以及一些開源信息處理軟件和開源虛擬化軟件共同組成。“藍雲”的硬件平臺環境與一般的x86服務器集羣類似,使用刀片的方式增加了計算密度。“藍雲”軟件平臺的特點主要體現在虛擬機以及對於大規模數據處理軟件Apache Hadoop的使用上。

“藍雲”平臺的一個重要特點是虛擬化技術的使用。虛擬化的方式在“藍雲”中有兩個級別,一個是在硬件級別上實現虛擬化,另一個是通過開源軟件實現虛擬化。硬件級別的虛擬化可以使用IBM p系列的服務器,獲得硬件的邏輯分區LPAR(logic partition)。邏輯分區的CPU資源能夠通過IBM Enterprise Workload Manager來管理。通過這樣的方式加上在實際使用過程中的資源分配策略,能夠使相應的資源合理地分配到各個邏輯分區。p系列系統的邏輯分區最小粒度是1/10顆CPU。Xen則是軟件級別上的虛擬化,能夠在Linux基礎上運行另外一個操作系統。

虛擬機是一類特殊的軟件,能夠完全模擬硬件的執行,運行不經修改的完整的操作系統,保留了一整套運行環境語義。通過虛擬機的方式,在雲計算平臺上獲得如下一些優點 :

1)雲計算的管理平臺能夠動態地將計算平臺定位到所需要的物理節點上, 而無須停止運行在虛擬機平臺上的應用程序,進程遷移方法更加靈活;

2)降低集羣電能消耗,將多個負載不是很重的虛擬機計算節點合併到同一個物理節點上,從而能夠關閉空閒的物理節點,達到節約電能的目的;

3)通過虛擬機在不同物理節點上的動態遷移,遷移了整體的虛擬運行環境,能夠獲得與應用無關的負載平衡性能;

4)在部署上也更加靈活,即可以將虛擬機直接部署到物理計算平臺上,而虛擬機本身就包括了相應的操作系統以及相應的應用軟件,直接將大量的虛擬機映像複製到對應的物理節點即可。

“藍雲”計算平臺中的存儲體系結構:“藍雲”計算平臺中的存儲體系結構對於雲計算來說也是非常重要的,無論是操作系統、服務程序還是用戶的應用程序的數據都保存在存儲體系中。“藍雲”存儲體系結構包含類似於Google File System 的集羣文件系統以及基於塊設備方式的存儲區域網絡SAN。

在設計雲計算平臺的存儲體系結構時,可以通過組合多個磁盤獲得很大的磁盤容量。相對於磁盤的容量,在雲計算平臺的存儲中,磁盤數據的讀寫速度是一個更重要的問題,因此需要對多個磁盤進行同時讀寫。這種方式要求將數據分配到多個節點的多個磁盤當中。爲達到這一目的,存儲技術有兩個選擇,一個是使用類似於Google File System的集羣文件系統,另一個是基於塊設備的存儲區域網絡SAN系統。

在藍雲計算平臺上,SAN 系統與分佈式文件系統(例如Google File System)並不是相互對立的系統,SAN提供的是塊設備接口,需要在此基礎上構建文件系統,才能被上層應用程序所使用。而Google File System正好是一個分佈式的文件系統,能夠建立在SAN之上。兩者都能提供可靠性、可擴展性,至於如何使用還需要由建立在雲計算平臺上的應用程序來決定,這也體現了計算平臺與上層應用相互協作的關係。

 

(3)Amazon的彈性計算雲

Amazon是互聯網上最大的在線零售商,爲了應付交易高峯,不得不購買了大量的服務器。而在大多數時間,大部分服務器閒置,造成了很大的浪費,爲了合理利用空閒服務器,Amazon建立了自己的雲計算平臺彈性計算雲EC2(elastic compute cloud),並且是第一家將基礎設施作爲服務出售的公司。

Amazon將自己的彈性計算雲建立在公司內部的大規模集羣計算的平臺上,而用戶可以通過彈性計算雲的網絡界面去操作在雲計算平臺上運行的各個實例(instance)。用戶使用實例的付費方式由用戶的使用狀況決定,即用戶只需爲自己所使用的計算平臺實例付費,運行結束後計費也隨之結束。這裏所說的實例即是由用戶控制的完整的虛擬機運行實例。通過這種方式,用戶不必自己去建立雲計算平臺,節省了設備與維護費用。

 

上圖爲EC2系統的使用模式。從圖中可以看出,彈性計算雲用戶使用客戶端通過SOAP over HTTPS協議與Amazon彈性計算雲內部的實例進行交互。這樣,彈性計算雲平臺爲用戶或者開發人員提供了一個虛擬的集羣環境,在用戶具有充分靈活性的同時,也減輕了雲計算平臺擁有者(Amazon公司)的管理負擔。彈性計算雲中的每一個實例代表一個運行中的虛擬機。用戶對自己的虛擬機具有完整的訪問權限,包括針對此虛擬機操作系統的管理員權限。虛擬機的收費也是根據虛擬機的能力進行費用計算的,實際上,用戶租用的是虛擬的計算能力。

總而言之,Amazon通過提供彈性計算雲,滿足了小規模軟件開發人員對集羣系統的需求,減小了維護負擔。其收費方式相對簡單明瞭:用戶使用多少資源,只需爲這一部分資源付費即可。

爲了彈性計算雲的進一步發展,Amazon規劃瞭如何在雲計算平臺基礎上幫助用戶開發網絡化的應用程序。除了網絡零售業務以外,雲計算也是Amazon公司的核心價值所在。Amazon將來會在彈性計算雲的平臺基礎上添加更多的網絡服務組件模塊,爲用戶構建雲計算應用提供方便。

 

六、雲計算技術發展面臨的主要問題

儘管雲計算模式具有許多優點,但是也存在的一些問題,如數據隱私問題、安全問題、軟件許可證問題、網絡傳輸問題等。

• 數據隱私問題:如何保證存放在雲服務提供商的數據隱私,不被非法利用,不僅需要技術的改進,也需要法律的進一步完善。

• 數據安全性:有些數據是企業的商業機密,數據的安全性關係到企業的生存和發展。雲計算數據的安全性問題解決不了會影響雲計算在企業中的應用。

• 用戶使用習慣:如何改變用戶的使用習慣,使用戶適應網絡化的軟硬件應用是長期而艱鉅的挑戰。

• 網絡傳輸問題:雲計算服務依賴網絡,目前網速低且不穩定,使雲應用的性能不高。雲計算的普及依賴網絡技術的發展。

 

 

 

 

發佈了152 篇原創文章 · 獲贊 1 · 訪問量 6139
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章