雲環境裏的高性能計算

來源:IT專家網 作者:Douglas Eadline, Ph.D.

   雲計算將讓應用“脫離”硬件的束縛。因此,性能也許沒有你預計的那樣的重要,雲計算中的高性能計算可能對於某些應用是好用的,但是,作爲一個通用的解決方案,還有更多的工作要做。

 

  過去,當有人問我有關“雲高性能計算”的問題時,我會指出有一項重要的努力要讓高性能計算應用程序儘可能地接近硬件,而云計算將讓應用“脫離”硬件的束縛。因此,性能也許沒有你預計的那樣的重要,更重要的是沒有輸入/輸出性能(無論是存儲還是計算)的保證。因此,雲計算中的高性能計算可能對於某些應用是好用的,但是,作爲一個一般的解決方案,還有更多的工作要做。

  最近,亞馬遜Web服務通過爲其EC2(彈性計算雲)服務推出集羣計算機實例朝着這個方向邁出了一步。這個實例是爲高性能計算應用程序設計的並且具有下列功能:

  •23GB內存

  •33.5個EC2計算單元(2 x 英特爾至強X5570四核Nehalem處理器)

  •1690GB的實例存儲(在兩個卷中)64位平臺。

  •輸入/輸出性能:萬兆以太網

  這種8個實例(提供64個內核)的實例類型有一個默認的使用限制。你可以向亞馬遜要求更多的實例。至於價格,一個實例每小時1.60美元或者一個集羣實例每小時12.80美元。如果你要在不投資新的硬件的情況下運行一些新的工作(甚至工作量很大的任務),這個價格還是不錯的。此外,一度是重要的生產週期的資本開支的東西現在是一項隨時可用的運營開支。

  到目前爲止,一切都很。但是,它真的有效嗎?答案是當然有效,這完全取決於你的應用。從性能方面看,高性能線性測試標準(HPL)的結果是與使用萬兆以太網建立的類似的集羣一致的。據這個博客稱,亞馬遜在880集羣計算機實例(7040個內核)上運行了HPL並且測量出整個性能是每秒41.82萬億次浮點運算(英特爾編譯程序、MPI和MKL)。這個性能使EC2集羣在目前的500強超級計算機排行榜上排名第146位。除了HPL,我發現勞倫斯伯克利國家實驗室的一位計算機科學家Keith Jackson的說法最有趣。

  他說,許多科學研究領域需要高吞吐量、低延遲、應用程序之間能夠迅速溝通的相互連接的系統。因此,我們很高興與亞馬遜Web服務合作在亞馬遜EC2的集羣計算機實例上測試我們的高性能計算應用程序。在我們的廣泛的基準測試中,我們發現我們的高性能計算應用程序在亞馬遜EC2的集羣計算實例上運行的速度比亞馬遜以前的EC2實例類型快8.5倍。

  這種改進是非常重要的,因爲對於非高性能計算EC2實例來說,速度慢10倍是正常的。當然,它沒有你的數據中心中的集羣做得那樣好。但是,這些結構足以讓你認認真考慮這個事情。

  缺少InfiniBand對於某些用戶來說是不能使用這種服務的一個原因。在這種情況下,你要查看一下Penguin Computing公司的“Penguin On Demand”服務。然而,使用萬兆以太網是一個很大的促進。當然,令人尷尬的並行應用程序在這種類型的硬件上將能夠很好地工作。還應該指出的是,這種高性能計算實例使用硬件輔助的虛擬化,而不是其它類型的EC2實例使用超虛擬化(如,Xen),並且需要從EBS(彈性塊存儲)啓動。這需要用戶創建自己的亞馬遜機器鏡像(AMI)。有一個基於Centos的AMI能夠用於創建你自己的AMI的基礎。

  談到存儲,緩慢的存儲是許多高性能計算應用程序的殺手。如果你對使用EC2有興趣,並且需要快速存儲,請閱讀和研究這個小組在BIOTEAM網站發表的這個博客。在EC2雲計算機中,有一個用於存儲雲計算中的計算實例之間的數據的一致的存儲(BES)。每一個計算實例中都包含兩個840GB短暫的磁盤容量(也就是說在這個實例完成之後就消失)。在測試之後,他們建議說,使用這種短暫的磁盤作爲臨時的存儲,可能與PVFS2或者集羣一起使用,然後把數據轉移到S3存儲桶或者EBS卷中進行長期存儲。這也許是可行的和快速的解決方案。當然,這需要使用實際的應用程序進行更多的測試。但是,短暫的輸入/輸出性能對於高性能計算來說似乎是很高的和一致的。

  EC2讓我感興趣的一個方面是與Sun網格引擎(現在叫作甲骨文網格引擎)結合在一起。這種做法通常是指“雲益處”。我不知道我是否喜歡這個名字。不管怎樣,想象一下坐在你的辦公桌旁把工作交給一個本地集羣或者一個EC2高性能計算集羣的情況。也許你的計算已經完全分配完了,也許它關機了或者速度非常慢,或者你也許根本就沒有一個集羣。如果你有一個EC2賬戶,你可以簡單地“提交你的工作”。

  簡單的隨需應變的高性能計算的承諾是一個令人激動的選擇。過去制約高性能計算增長的因素之一是需要有能力的管理員和基礎設施(也就是空間、電力和冷卻)。例如,如果我是一個小型工程公司,小型計算機集羣只是根據每個合同的情況零星地使用。這樣,購買一個小型計算機集羣也許是沒有意義的。根據應用程序的情況,這些資源現在可以在線路上提供,其成本是可以預計的。

  當然,我們在雲高性能計算方面還沒有達到這個程度。我認爲,亞馬遜EC2更接近了一步。我預計其它廠商也會跟上來。它確實擁有我認爲從一開始就推動集羣高性能計算增長的一個功能。試用一下是很便宜的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章