雲計算8項核心技術全解讀

雲計算的“橫空出世”讓很多人將其視爲一項全新的技術,但事實上它的雛形已出現多年,只是最近幾年纔開始取得相對較快的發展。確切地說,雲計算是大 規模分佈式計算技術及其配套商業模式演進的產物,它的發展主要有賴於虛擬化、分佈式數據存儲、數據管理、編程模式、信息安全等各項技術、產品的共同發展。 近些年來,託管、後向收費、按需交付等商業模式的演進也加速了雲計算市場的轉折。雲計算不僅改變了信息提供的方式,也顛覆了傳統ICT系統的交付模式。與 其說雲計算是技術的創新,不如說雲計算是思維和商業模式的轉變。

下面詳細談一談雲計算的核心技術。

雲計算是一種以數據和處理能力爲中心的密集型計算模式,它融合了多項ICT技術,是傳統技術“平滑演進”的產物。其中以虛擬化技術、分佈式數據存儲技術、編程模型、大規模數據管理技術、分佈式資源管理、信息安全、雲計算平臺管理技術、綠色節能技術最爲關鍵。

1、虛擬化技術

虛擬化是雲計算最重要的核心技術之一,它爲雲計算服務提供基礎架構層面的支撐,是ICT服務快速走向雲計算的最主要驅動力。可以說,沒有虛擬化技術 也就沒有云計算服務的落地與成功。隨着雲計算應用的持續升溫,業內對虛擬化技術的重視也提到了一個新的高度。與此同時,我們的調查發現,很多人對雲計算和 虛擬化的認識都存在誤區,認爲雲計算就是虛擬化。事實上並非如此,虛擬化是雲計算的重要組成部分但不是全部。

從技術上講,虛擬化是一種在軟件中仿真計算機硬件,以虛擬資源爲用戶提供服務的計算形式。旨在合理調配計算機資源,使其更高效地提供服務。它把應用 系統各硬件間的物理劃分打破,從而實現架構的動態化,實現物理資源的集中管理和使用。虛擬化的最大好處是增強系統的彈性和靈活性,降低成本、改進服務、提 高資源利用效率。

從表現形式上看,虛擬化又分兩種應用模式。一是將一臺性能強大的服務器虛擬成多個獨立的小服務器,服務不同的用戶。二是將多個服務器虛擬成一個強大 的服務器,完成特定的功能。這兩種模式的核心都是統一管理,動態分配資源,提高資源利用率。在雲計算中,這兩種模式都有比較多的應用。

2、分佈式數據存儲技術

雲計算的另一大優勢就是能夠快速、高效地處理海量數據。在數據爆炸的今天,這一點至關重要。爲了保證數據的高可靠性,雲計算通常會採用分佈式存儲技術,將數據存儲在不同的物理設備中。這種模式不僅擺脫了硬件設備的限制,同時擴展性更好,能夠快速響應用戶需求的變化。

分佈式存儲與傳統的網絡存儲並不完全一樣,傳統的網絡存儲系統採用集中的存儲服務器存放所有數據,存儲服務器成爲系統性能的瓶頸,不能滿足大規模存 儲應用的需要。分佈式網絡存儲系統採用可擴展的系統結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統的可靠性、可用 性和存取效率,還易於擴展。

在當前的雲計算領域,Google的GFS和Hadoop開發的開源系統HDFS是比較流行的兩種雲計算分佈式存儲系統。

GFS(Google File System)技術:谷歌的非開源的GFS(GoogleFile System) 雲計算平臺滿足大量用戶的需求,並行地爲大量用戶提供服務。使得雲計算的數據存儲技術具有了高吞吐率和高傳輸率的特點。

HDFS(Hadoop Distributed File System)技術:大部分ICT廠商,包括Yahoo、Intel的“雲”計劃採用的都是HDFS的數據存儲技術。未來的發展將集中在超大規模的數據存 儲、數據加密和安全性保證、以及繼續提高I/O速率等方面。

3、編程模式

從本質上講,雲計算是一個多用戶、多任務、支持併發處理的系統。高效、簡捷、快速是其核心理念,它旨在通過網絡把強大的服務器計算資源方便地分發到 終端用戶手中,同時保證低成本和良好的用戶體驗。在這個過程中,編程模式的選擇至關重要。雲計算項目中分佈式並行編程模式將被廣泛採用。

分佈式並行編程模式創立的初衷是更高效地利用軟、硬件資源,讓用戶更快速、更簡單地使用應用或服務。在分佈式並行編程模式中,後臺複雜的任務處理和 資源調度對於用戶來說是透明的,這樣用戶體驗能夠大大提升。MapReduce是當前雲計算主流並行編程模式之一。MapReduce模式將任務自動分成 多個子任務,通過Map和Reduce兩步實現任務在大規模計算節點中的高度與分配。

MapReduce是Google開發的java、Python、C++編程模型,主要用於大規模數據集(大於1TB)的並行運算。 MapReduce模式的思想是將要執行的問題分解成Map(映射)和Reduce(化簡)的方式,先通過Map程序將數據切割成不相關的區塊,分配(調 度)給大量計算機處理,達到分佈式運算的效果,再通過Reduce程序將結果彙整輸出。

4、大規模數據管理

處理海量數據是雲計算的一大優勢。那麼如何處理則涉及到很多層面的東西,因此高效的數據處理技術也是雲計算不可或缺的核心技術之一。對於雲計算來 說,數據管理面臨巨大的挑戰。雲計算不僅要保證數據的存儲和訪問,還要能夠對海量數據進行特定的檢索和分析。由於雲計算需要對海量的分佈式數據進行處理、 分析,因此,數據管理技術必需能夠高效的管理大量的數據。

Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase是業界比較典型的大規模數據管理技術。

BT(BigTable)數據管理技術:BigTable是非關係的數據庫,是一個分佈式的、持久化存儲的多維度排序Map.BigTable建立 在 GFS, Scheduler, Lock Service和MapReduce之上,與傳統的關係數據庫不同,它把所有數據都作爲對象來處理,形成一個巨大的表格,用來分佈存儲大規模結構化數據。 Bigtable的設計目的是可靠的處理PB級別的數據,並且能夠部署到上千臺機器上。

開源數據管理模塊HBase:HBase是Apache的Hadoop項目的子項目,定位於分佈式、面向列的開源數據庫。HBase不同於一般的關 系數據庫,它是一個適合於非結構化數據存儲的數據庫。另一個不同的是HBase基於列的而不是基於行的模式。作爲高可靠性分佈式存儲系統,HBase在性 能和可伸縮方面都有比較好的表現。利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。

5、分佈式資源管理

雲計算採用了分佈式存儲技術存儲數據,那麼自然要引入分佈式資源管理技術。在多節點的併發執行環境中,各個節點的狀態需要同步,並且在單個節點出現故障時,系統需要有效的機制保證其它節點不受影響。而分佈式資源管理系統恰是這樣的技術,它是保證系統狀態的關鍵。

另外,雲計算系統所處理的資源往往非常龐大,少則幾百臺服務器,多則上萬臺,同時可能跨躍多個地域。且雲平臺中運行的應用也是數以千計,如何有效地管理這批資源,保證它們正常提供服務,需要強大的技術支撐。因此,分佈式資源管理技術的重要性可想而知。

全球各大雲計算方案/服務提供商們都在積極開展相關技術的研發工作。其中Google內部使用的Borg技術很受業內稱道。另外,微軟、IBM、Oracle/Sun等雲計算巨頭都有相應解決方案提出。

6、信息安全

調查數據表明,安全已經成爲阻礙雲計算髮展的最主要原因之一。數據顯示,32%已經使用雲計算的組織和45%尚未使用雲計算的組織的ICT管理將雲安全作爲進一步部署雲的最大障礙。因此,要想保證雲計算能夠長期穩定、快速發展,安全是首要需要解決的問題。

事實上,雲計算安全也不是新問題,傳統互聯網存在同樣的問題。只是雲計算出現以後,安全問題變得更加突出。在雲計算體系中,安全涉及到很多層面,包 括網絡安全、服務器安全、軟件安全、系統安全等等。因此,有分析師認爲,雲安全產業的發展,將把傳統安全技術提到一個新的階段。

現在,不管是軟件安全廠商還是硬件安全廠商都在積極研發雲計算安全產品和方案。包括傳統殺毒軟件廠商、軟硬防火牆廠商、IDS/IPS廠商在內的各個層面的安全供應商都已加入到雲安全領域。相信在不久的將來,雲安全問題將得到很好的解決.

7、雲計算平臺管理

雲計算資源規模龐大,服務器數量衆多並分佈在不同的地點,同時運行着數百種應用,如何有效地管理這些服務器,保證整個系統提供不間斷的服務是巨大的 挑戰。雲計算系統的平臺管理技術,需要具有高效調配大量服務器資源,使其更好協同工作的能力。其中,方便地部署和開通新業務、快速發現並且恢復系統故障、 通過自動化、智能化手段實現大規模系統可靠的運營是雲計算平臺管理技術的關鍵。

對於提供者而言,雲計算可以有三種部署模式,即公共雲、私有云和混合雲。三種模式對平臺管理的要求大不相同。對於用戶而言,由於企業對於ICT資源 共享的控制、對系統效率的要求以及ICT成本投入預算不盡相同,企業所需要的雲計算系統規模及可管理性能也大不相同。因此,雲計算平臺管理方案要更多地考 慮到定製化需求,能夠滿足不同場景的應用需求。

包括Google、IBM、微軟、Oracle/Sun等在內的許多廠商都有云計算平臺管理方案推出。這些方案能夠幫助企業實現基礎架構整合、實現 企業硬件資源和軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份,打破應用對資源的獨佔,讓企業雲計算平臺價值得以充分發揮。

8、綠色節能技術

節能環保是全球整個時代的大主題。雲計算也以低成本、高效率着稱。雲計算具有巨大的規模經濟效益,在提高資源利用效率的同時,節省了大量能源。綠色節能技術已經成爲雲計算必不可少的技術,未來越來越多的節能技術還會被引入雲計算中來。

Carbon Disclosure Project(碳排放披露項目,簡稱CDP)近日發佈了一項有關雲計算有助於減少碳排放的研究報告。報告指出,遷移至雲的美國公司每年就可以減少碳排放8570萬噸,這相當於2億桶石油所排放出的碳總量。


總之,雲計算服務提供商們需要持續改善技術,讓雲計算更綠色。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章