雲計算的基礎架構：並行計算+資源虛擬化
(2011-08-20 12:15:51)
高性能雲計算：從科學應用的角度
科學計算往往需要可用的數量龐大的計算機來執行大規模實驗。傳統上，這些需求已通過使用高性能計算機解決方案和安裝集羣和超級計算機等設施來解決，這些設施很難建立，維護和操作。雲計算爲科學家提供了利用計算基礎設施的完全新模式。計算資源，存儲資源，以及應用程序，可動態提供的（和現有的基礎設施集成）基礎上按使用量付費。他們不需要的時候，這些資源可以被釋放。提供這種服務通常是在保證所需服務質量的服務水平協議範圍內。Aneka，一個企業雲計算解決方案，通過利用私有云和公有云的計算資源向用戶提供所需的服務質量。其靈活性和基礎設施服務支持多種編程模式，使Aneka適用各種不同的場景：從財務應用程序到科學計算。作爲在雲中進行的科學計算案例，提出了利用Aneka進行基因表達數據分類和腦功能磁共振成像工作流程執行的初步案例研究。
一、引言
科學計算包括數學模型和數值求解技術來解決科學，社會科學和工程問題。這些模型往往需要大量的計算資源進行大規模的實驗，或計算複雜性削減到一個合理的時間框架。這些需求已初步具有專用高性能計算（HPC）的基礎設施，如集羣或同一部門聯網的機器羣，這些基礎設施由“CPU週期清道夫”管理，如禿鷹軟件。隨着網格計算的到來，給科學家提供了新的機會：與電網完全類比，計算網格可以按需提供“馬力”從事大型實驗，依託機器的網絡潛在的延伸到世界各地。計算網格引入新的功能，動態發現服務，依靠大量屬於管理域的資源和發現滿足應用要求的最佳機器設置的能力。科學計算網格已變得如此成功，以至於許多國際項目導致了建立世界範圍的基礎設施提供給科學計算。開放科學電網，最初設想使大型強子對撞機數據分析便利，連接25000臺主機設備和爲不同學科的數據密集型研究提供支持，比如生物，化學，粒子物理，地理信息系統。歐洲高效電子科學網絡起初由歐盟委員會資助，連接亞歐、美國超過91個機構，建立世界最大的各種科學的計算網格基礎設施。TeraGRID是一個國家科學基金會資助的項目，提供科學家大量的建立在9個資源提供商夥伴網站的資源頂部。它被用於4000個用戶，200多所大學的在分子生物學，海洋科學，地球科學，數學，神經科學，設計與製造，以及其他學科的先進研究。這些僅僅是科學網格計算最具代表性的例子。
儘管網格技術在科學計算上的廣泛使用，由大量運用上述計算網格的項目證實，有些問題仍然不像描述的使用這種技術這麼容易。有些問題是官僚的：這些網格在全球範圍內分享，研究團體要提交提案描述他們希望來進行的研究類型。這種做法導致了競爭地使用科學網格，使小型研究項目無法獲得。其他問題是技術，更重要的是：在大多數情況下的科學網格功能預包裝應用程序將被執行的環境，有時具體的工具和API不得不使用，有可能在宿主操作系統或運行環境所提供的服務有限制。雖然網格計算有動態發現的服務，以及對各種應用的運行環境，在實踐中一組有限的選項供科學家選擇，有時它們不能有足夠的彈性來應付需求。一個實際的例子，關於具體軟件的使用，可能在程序執行的運行環境中無法使用。在一般情況下，運行在科學網格中的應用程序以任務包的形式實現，應用程序，工作流程和MPI（消息傳遞接口）並行過程。一些科學實驗無法適應這些模型，必須進行重組或重新設計來使用科學網格。鑑於官僚問題可以是一個小問題，技術問題是科學計算的基本障礙。從這個方面上講，PlanetLab提出的基於虛擬機的方法很有用。PlanetLab是用於開發，部署和訪問行星規模服務的開放平臺。用戶賦予一個接入PlanetLab基礎設施節點集虛擬機的刀片機，因此，一個刀片機可按照具體用途完全定製。目前，PlanetLab是作爲一個試驗檯主要用於計算機網絡和分佈式系統的研究，它是唯一能夠訪問隸屬於企業和大學的PlanetLab節點的基礎設施。這使得它被用於計算科學相當有限。
雲計算，目前提供IT服務出現的新趨勢，許多上述問題可以解決。通過虛擬化技術手段，雲計算爲最終用戶提供一個涵蓋整個計算堆棧的各種服務，從硬件到應用級，按每使用收取。另一個重要的特徵，科學家可以從中受益，能夠根據應用需求和用戶預算來自動伸縮使用計算基礎設施的規模大小。科學家通過使用基於雲技術可以很容易獲得大型分佈式基礎設施和完全定製自己的執行環境，從而實現實驗中完美的設置。此外，通過租用的按每使用支付的基礎設施上，他們可以在沒有任何容量計劃立即獲得所需的資源，當他們不再需要時，可以自由地釋放資源。雲計算爲提供IT服務的每級計算堆棧提供靈活的機制：從硬件級到應用級。硬件設備和應用解決方案分別由硬件虛擬化和軟件即服務提供。這使得有非常多的選擇可供科學家，足以滿足他們的任何具體研究需要。
雲計算解決方案的熱度正在快速增長。結果，他們已經在很多領域被採用了，如社交網絡，商業應用和信息傳遞網絡。目前，計算科學利用雲計算仍然是有限，但實現這一目標的第一步已經完成了。今年，能源部（DOE）的國家實驗室開始探索利用雲計算服務進行科學計算。在2009年4月，雅虎公司宣佈，它已經擴展了在美國各大頂尖大學的合作關係，推動雲計算的研究和計算科學和工程的應用。第一個基於雲的計算科學基礎設施，科學雲，已經由芝加哥大學，伊利諾伊，普渡大學和馬薩里克大學共同部署。從研究觀點，初步的研究已經進行了可行性的科學計算用雲計算。一些研究通過分析使用的高性能計算科學應用的表現或科學實驗在亞馬遜雲計算基礎設施的表現來調查使用雲計算技術的好處。
不同的解決方案可從傳統的科學網格移動到雲計算模式中。一些廠商，如亞馬遜網絡服務和VMWare靠硬件級虛擬化和按需提供計算和存儲資源來提供服務。谷歌AppEngine和微軟Azure更側重於通過實施一個具體的應用模式來實現應用程序級的虛擬化，充分利用其巨大的基礎設施和按需服務。其他的解決方案提供最終用戶一個雲計算應用程序的平臺，從而提供用戶一個更好的服務質量。Aneka是一個用於開發應用程序的雲計算平臺，可以按需利用虛擬資源的CPU週期，桌面臺式機和集羣。它支持多種編程模式，提供科學家表達他們的應用程序邏輯的不同選擇：任務包，分佈式線程，數據流，或MapReduce。它的服務導向架構提供用戶一個完全定製的基礎設施，能夠滿足應用程序所需的服務質量。
本文的其餘部分的組織如下：第一，我們通過雲計算參考模型和範例的關鍵要素概述雲計算。然後，我們將介紹Aneka，並詳細討論它的特徵，強調如何支持計算科學。作爲個案研究，我們將介紹基因表達數據的分類和在亞馬遜EC2上執行的科學工作流程。最後討論關於作爲科學計算有效支持的雲計算的未來發展方向的思考和展望。
科學計算包括數學模型和數值求解技術來解決科學，社會科學和工程問題。這些模型往往需要大量的計算資源進行大規模的實驗，或計算複雜性削減到一個合理的時間框架。這些需求已初步具有專用高性能計算（HPC）的基礎設施，如集羣或同一部門聯網的機器羣，這些基礎設施由“CPU週期清道夫”管理，如禿鷹軟件。隨着網格計算的到來，給科學家提供了新的機會：與電網完全類比，計算網格可以按需提供“馬力”從事大型實驗，依託機器的網絡潛在的延伸到世界各地。計算網格引入新的功能，動態發現服務，依靠大量屬於管理域的資源和發現滿足應用要求的最佳機器設置的能力。科學計算網格已變得如此成功，以至於許多國際項目導致了建立世界範圍的基礎設施提供給科學計算。開放科學電網，最初設想使大型強子對撞機數據分析便利，連接25000臺主機設備和爲不同學科的數據密集型研究提供支持，比如生物，化學，粒子物理，地理信息系統。歐洲高效電子科學網絡起初由歐盟委員會資助，連接亞歐、美國超過91個機構，建立世界最大的各種科學的計算網格基礎設施。TeraGRID是一個國家科學基金會資助的項目，提供科學家大量的建立在9個資源提供商夥伴網站的資源頂部。它被用於4000個用戶，200多所大學的在分子生物學，海洋科學，地球科學，數學，神經科學，設計與製造，以及其他學科的先進研究。這些僅僅是科學網格計算最具代表性的例子。
儘管網格技術在科學計算上的廣泛使用，由大量運用上述計算網格的項目證實，有些問題仍然不像描述的使用這種技術這麼容易。有些問題是官僚的：這些網格在全球範圍內分享，研究團體要提交提案描述他們希望來進行的研究類型。這種做法導致了競爭地使用科學網格，使小型研究項目無法獲得。其他問題是技術，更重要的是：在大多數情況下的科學網格功能預包裝應用程序將被執行的環境，有時具體的工具和API不得不使用，有可能在宿主操作系統或運行環境所提供的服務有限制。雖然網格計算有動態發現的服務，以及對各種應用的運行環境，在實踐中一組有限的選項供科學家選擇，有時它們不能有足夠的彈性來應付需求。一個實際的例子，關於具體軟件的使用，可能在程序執行的運行環境中無法使用。在一般情況下，運行在科學網格中的應用程序以任務包的形式實現，應用程序，工作流程和MPI（消息傳遞接口）並行過程。一些科學實驗無法適應這些模型，必須進行重組或重新設計來使用科學網格。鑑於官僚問題可以是一個小問題，技術問題是科學計算的基本障礙。從這個方面上講，PlanetLab提出的基於虛擬機的方法很有用。PlanetLab是用於開發，部署和訪問行星規模服務的開放平臺。用戶賦予一個接入PlanetLab基礎設施節點集虛擬機的刀片機，因此，一個刀片機可按照具體用途完全定製。目前，PlanetLab是作爲一個試驗檯主要用於計算機網絡和分佈式系統的研究，它是唯一能夠訪問隸屬於企業和大學的PlanetLab節點的基礎設施。這使得它被用於計算科學相當有限。
雲計算，目前提供IT服務出現的新趨勢，許多上述問題可以解決。通過虛擬化技術手段，雲計算爲最終用戶提供一個涵蓋整個計算堆棧的各種服務，從硬件到應用級，按每使用收取。另一個重要的特徵，科學家可以從中受益，能夠根據應用需求和用戶預算來自動伸縮使用計算基礎設施的規模大小。科學家通過使用基於雲技術可以很容易獲得大型分佈式基礎設施和完全定製自己的執行環境，從而實現實驗中完美的設置。此外，通過租用的按每使用支付的基礎設施上，他們可以在沒有任何容量計劃立即獲得所需的資源，當他們不再需要時，可以自由地釋放資源。雲計算爲提供IT服務的每級計算堆棧提供靈活的機制：從硬件級到應用級。硬件設備和應用解決方案分別由硬件虛擬化和軟件即服務提供。這使得有非常多的選擇可供科學家，足以滿足他們的任何具體研究需要。
雲計算解決方案的熱度正在快速增長。結果，他們已經在很多領域被採用了，如社交網絡，商業應用和信息傳遞網絡。目前，計算科學利用雲計算仍然是有限，但實現這一目標的第一步已經完成了。今年，能源部（DOE）的國家實驗室開始探索利用雲計算服務進行科學計算。在2009年4月，雅虎公司宣佈，它已經擴展了在美國各大頂尖大學的合作關係，推動雲計算的研究和計算科學和工程的應用。第一個基於雲的計算科學基礎設施，科學雲，已經由芝加哥大學，伊利諾伊，普渡大學和馬薩里克大學共同部署。從研究觀點，初步的研究已經進行了可行性的科學計算用雲計算。一些研究通過分析使用的高性能計算科學應用的表現或科學實驗在亞馬遜雲計算基礎設施的表現來調查使用雲計算技術的好處。
不同的解決方案可從傳統的科學網格移動到雲計算模式中。一些廠商，如亞馬遜網絡服務和VMWare靠硬件級虛擬化和按需提供計算和存儲資源來提供服務。谷歌AppEngine和微軟Azure更側重於通過實施一個具體的應用模式來實現應用程序級的虛擬化，充分利用其巨大的基礎設施和按需服務。其他的解決方案提供最終用戶一個雲計算應用程序的平臺，從而提供用戶一個更好的服務質量。Aneka是一個用於開發應用程序的雲計算平臺，可以按需利用虛擬資源的CPU週期，桌面臺式機和集羣。它支持多種編程模式，提供科學家表達他們的應用程序邏輯的不同選擇：任務包，分佈式線程，數據流，或MapReduce。它的服務導向架構提供用戶一個完全定製的基礎設施，能夠滿足應用程序所需的服務質量。
本文的其餘部分的組織如下：第一，我們通過雲計算參考模型和範例的關鍵要素概述雲計算。然後，我們將介紹Aneka，並詳細討論它的特徵，強調如何支持計算科學。作爲個案研究，我們將介紹基因表達數據的分類和在亞馬遜EC2上執行的科學工作流程。最後討論關於作爲科學計算有效支持的雲計算的未來發展方向的思考和展望。
二、 雲的發展
雲計算這個術語包括許多方面，範圍從最終用戶在使用這項技術帶來新機遇的經驗到系統實現使這些機會變成現實。在本節中，我們將給出雲計算的特徵，引入雲計算參考模型，並確定這項新技術提供的關鍵服務。
A 雲的定義
雖然，雲計算這個術語過於寬泛，很難給出一個單一的定義，它有可能確定一些這方面趨勢特點的關鍵要素。阿布魯斯特等認爲，“雲計算不僅指通過互聯網的應用程序作爲服務，而且是數據中心的硬件和軟件系統提供這些服務”。然後，他們定義雲是由硬件和軟件構成的數據中心。Buyya等給出一個更具結構化的定義，定義爲“並行和分佈式的互聯和虛擬化的計算機的集合，是動態供應和作爲一個或多個統一的計算資源提出了基於服務水平協議組成的系統類型”。雲計算的特徵的主要特點之一是提供基礎設施和軟件作爲服務的能力。更確切地說，它是一種技術，旨在提供隨需應變的按每使用支付的IT資源。先前趨勢僅限於特定的用戶類，或者特定種類的IT資源。雲計算的目標是成爲全球性的：它提供了上述服務給各行各業，從最終用戶在因特網上的個人文件到企業外包其整個IT基礎設施到外部數據中心。
B 雲計算的參考模型
圖1給出了一個雲計算述設想的方案概述。它提出了一個分層視圖包括IT基礎設施，服務和應用程序，即構成雲計算堆棧。它可以區分四個不同的層次，從系統向最終用戶逐步過渡。堆棧的最低級的特點是物理資源部署在基礎設施之上這些資源可以是不同的類型：集羣，數據中心，備用臺式機。基礎設施支持商業雲部署更可能由數百或上千臺機器的數據中心構成，而私有云能提供更多的異構環境，即使是備用臺式機的的空閒CPU週期用於計算工作量。這一級提供雲的“馬力”。
物理基礎設施由核心中間件層管理，其目的是爲應用程序提供適當的運行環境，並利用最佳的物理資源。爲了提供優質的服務，如應用程序隔離，服務質量，沙盒，核心中間件可以依靠虛擬化技術。在不同的虛擬化解決方案中，硬件級虛擬化和編程語言級的虛擬化是最流行的。硬件級虛擬化保證應用程序完全隔離和通過虛擬機的物理資源分割，如內存和CPU。編程級虛擬化提供沙盒，託管執行應用程序開發一種具體技術或編程語言。（即Java,.NET,和Python）的。在此之上，核心中間件提供一系列廣泛的服務，可以協助服務提供者給最終用戶提供專業的和商業的服務。這些服務包括：開票和服務質量協商，接入控制，執行管理和監督，會計和計費。連同物理基礎設施，核心中間件代表部署在雲端的應用程序的平臺之上。很少有直接用戶級來訪問這一層。更普遍的是，核心中間件提供的服務可通過一個用戶級中間件接入。這提供了環境和工具簡化了開發和部署雲應用。它們是：Web2.0接口，命令行工具，庫和編程語言。用戶級中間件構成了到雲端的應用程序接入點。
C 雲計算服務產品
由雲計算堆棧公開的服務種類繁多，可分組爲三種主要的產品，提供給最終用戶，科研機構和企業。它們是：基礎設施即服務（IaaS），平臺即服務（PaaS），和軟件即服務（SaaS）。圖2給出了這樣的分類。
術語基礎設施即服務或硬件即服務指的是基於虛擬化或物理資源的基礎設施向商品一樣提供給消費者。這些資源滿足對最終用戶對內存，CPU類型和能力，存儲，並在大多數情況下操作系統的需求。用戶按使用計費的基礎上支付，必須建立他們的系統在這些資源之上，被託管和管理在賣方所擁有的數據中心。亞馬遜是提供基礎設施即服務解決方案的主要公司之一。亞馬遜彈性計算雲（EC2）提供了一個大的計算基礎設施和基於硬件虛擬化的服務。通過使用亞馬遜網絡服務，用戶可以創建亞馬遜機器映像（AMIs），並將它們保存爲可以運行多個實例的模板。它可以運行Windows或Linux虛擬機和用戶費用按運行每實例每小時收取。亞馬遜還通過亞馬遜簡單存儲服務（S3）提供存儲服務，用戶可以使用Amazon S3訪問來自任何地方接入的大量數據。
平臺即服務解決方案提供一個應用程序或開發平臺，用戶可以開發自己的應用程序在雲端運行。PaaS的實現提供了一個應用程序框架和一組API，可被開發人員用來編程或組成雲端的應用程序。在某些情況下，PaaS的解決方案通常作爲一個綜合系統交付，同時提供一個開發平臺和應用程序在這之上執行的IT基礎設施。採用這一策略的公司主要有谷歌和微軟。
谷歌AppEngine是一個用於開發可伸縮的Web應用的平臺，運行在谷歌基礎設施服務器上。它提供了一套API和應用程序模型，允許開發者谷歌提供的另外服務，如郵件，數據存儲，內存緩存和其它的。按照所提供的應用模型，開發人員可以用Java，Python和JRuby創建應用程序。這些應用程序將運行在一個沙箱中，AppEngine會按需自動調整。谷歌提供了一個免費但有限的服務，同時利用每天和每分鐘配額，應用需要專業的服務。Azure是微軟提供爲開發雲端可擴展應用的解決方案。這是一個雲服務操作系統的平臺，作爲Azure服務平臺的開發，運行時間，控制環境。通過使用微軟Azure的SDK，開發人員可以利用.NET框架創建服務。這些服務必須通過微軟Azure門戶上傳，爲了在Windows Azure上執行。附加服務用來構建企業應用程序，如工作流執行和管理，Web服務業務流程，和獲得SQL數據。
Aneka是Manjrasoft的產品，是一個純粹的軟件即服務，並提供最終用戶和開發者在雲端使用.NET技術開發分佈式應用程序的一個平臺技術。該Aneka核心價值是一個面向服務的運行環境- Aneka容器-這是部署在物理和虛擬基礎設施，並允許由不同的編程模型開發的應用程序的執行。Aneka提供了一個軟件開發工具包（SDK）幫助開發人員開發任何語言支持.NET雲應用程序，和在Windows和Linux系統上建立和部署雲的工具集。作爲一個純粹的平臺即服務解決方案，Aneka不提供的IT硬件基礎設施建立計算雲，但系統管理員可以輕鬆地通過在集羣上部署Aneka容器，數據中心，簡單的桌面電腦，甚至在亞馬遜機器映像上捆綁來建立Aneka雲。
軟件即服務解決方案是在雲計算堆棧的頂端，它們提供最終用戶集成的服務，包括硬件，開發平臺和應用程序。用戶不能定製服務，但可以訪問雲端特定的應用程序。軟件即服務實現的歷史是谷歌提供的辦公自動化，如谷歌文檔和谷歌日曆，免費提供給因特網用戶，而且是專業優質的服務。
Salesforce.com和Clarizen.com的商業解決方案例子是，分別服務提供在線客戶關係管理和項目管理服務。
表一給出了一些最具代表性公司在提供雲計算基礎設施即服務/平臺即服務的功能比較。在論文其餘的部分，我們將主要集中在Aneka，以及它如何被用來在雲端進行科學計算。
雲計算這個術語包括許多方面，範圍從最終用戶在使用這項技術帶來新機遇的經驗到系統實現使這些機會變成現實。在本節中，我們將給出雲計算的特徵，引入雲計算參考模型，並確定這項新技術提供的關鍵服務。
A 雲的定義
雖然，雲計算這個術語過於寬泛，很難給出一個單一的定義，它有可能確定一些這方面趨勢特點的關鍵要素。阿布魯斯特等認爲，“雲計算不僅指通過互聯網的應用程序作爲服務，而且是數據中心的硬件和軟件系統提供這些服務”。然後，他們定義雲是由硬件和軟件構成的數據中心。Buyya等給出一個更具結構化的定義，定義爲“並行和分佈式的互聯和虛擬化的計算機的集合，是動態供應和作爲一個或多個統一的計算資源提出了基於服務水平協議組成的系統類型”。雲計算的特徵的主要特點之一是提供基礎設施和軟件作爲服務的能力。更確切地說，它是一種技術，旨在提供隨需應變的按每使用支付的IT資源。先前趨勢僅限於特定的用戶類，或者特定種類的IT資源。雲計算的目標是成爲全球性的：它提供了上述服務給各行各業，從最終用戶在因特網上的個人文件到企業外包其整個IT基礎設施到外部數據中心。
B 雲計算的參考模型
圖1給出了一個雲計算述設想的方案概述。它提出了一個分層視圖包括IT基礎設施，服務和應用程序，即構成雲計算堆棧。它可以區分四個不同的層次，從系統向最終用戶逐步過渡。堆棧的最低級的特點是物理資源部署在基礎設施之上這些資源可以是不同的類型：集羣，數據中心，備用臺式機。基礎設施支持商業雲部署更可能由數百或上千臺機器的數據中心構成，而私有云能提供更多的異構環境，即使是備用臺式機的的空閒CPU週期用於計算工作量。這一級提供雲的“馬力”。
物理基礎設施由核心中間件層管理，其目的是爲應用程序提供適當的運行環境，並利用最佳的物理資源。爲了提供優質的服務，如應用程序隔離，服務質量，沙盒，核心中間件可以依靠虛擬化技術。在不同的虛擬化解決方案中，硬件級虛擬化和編程語言級的虛擬化是最流行的。硬件級虛擬化保證應用程序完全隔離和通過虛擬機的物理資源分割，如內存和CPU。編程級虛擬化提供沙盒，託管執行應用程序開發一種具體技術或編程語言。（即Java,.NET,和Python）的。在此之上，核心中間件提供一系列廣泛的服務，可以協助服務提供者給最終用戶提供專業的和商業的服務。這些服務包括：開票和服務質量協商，接入控制，執行管理和監督，會計和計費。連同物理基礎設施，核心中間件代表部署在雲端的應用程序的平臺之上。很少有直接用戶級來訪問這一層。更普遍的是，核心中間件提供的服務可通過一個用戶級中間件接入。這提供了環境和工具簡化了開發和部署雲應用。它們是：Web2.0接口，命令行工具，庫和編程語言。用戶級中間件構成了到雲端的應用程序接入點。
C 雲計算服務產品
由雲計算堆棧公開的服務種類繁多，可分組爲三種主要的產品，提供給最終用戶，科研機構和企業。它們是：基礎設施即服務（IaaS），平臺即服務（PaaS），和軟件即服務（SaaS）。圖2給出了這樣的分類。
術語基礎設施即服務或硬件即服務指的是基於虛擬化或物理資源的基礎設施向商品一樣提供給消費者。這些資源滿足對最終用戶對內存，CPU類型和能力，存儲，並在大多數情況下操作系統的需求。用戶按使用計費的基礎上支付，必須建立他們的系統在這些資源之上，被託管和管理在賣方所擁有的數據中心。亞馬遜是提供基礎設施即服務解決方案的主要公司之一。亞馬遜彈性計算雲（EC2）提供了一個大的計算基礎設施和基於硬件虛擬化的服務。通過使用亞馬遜網絡服務，用戶可以創建亞馬遜機器映像（AMIs），並將它們保存爲可以運行多個實例的模板。它可以運行Windows或Linux虛擬機和用戶費用按運行每實例每小時收取。亞馬遜還通過亞馬遜簡單存儲服務（S3）提供存儲服務，用戶可以使用Amazon S3訪問來自任何地方接入的大量數據。
平臺即服務解決方案提供一個應用程序或開發平臺，用戶可以開發自己的應用程序在雲端運行。PaaS的實現提供了一個應用程序框架和一組API，可被開發人員用來編程或組成雲端的應用程序。在某些情況下，PaaS的解決方案通常作爲一個綜合系統交付，同時提供一個開發平臺和應用程序在這之上執行的IT基礎設施。採用這一策略的公司主要有谷歌和微軟。
谷歌AppEngine是一個用於開發可伸縮的Web應用的平臺，運行在谷歌基礎設施服務器上。它提供了一套API和應用程序模型，允許開發者谷歌提供的另外服務，如郵件，數據存儲，內存緩存和其它的。按照所提供的應用模型，開發人員可以用Java，Python和JRuby創建應用程序。這些應用程序將運行在一個沙箱中，AppEngine會按需自動調整。谷歌提供了一個免費但有限的服務，同時利用每天和每分鐘配額，應用需要專業的服務。Azure是微軟提供爲開發雲端可擴展應用的解決方案。這是一個雲服務操作系統的平臺，作爲Azure服務平臺的開發，運行時間，控制環境。通過使用微軟Azure的SDK，開發人員可以利用.NET框架創建服務。這些服務必須通過微軟Azure門戶上傳，爲了在Windows Azure上執行。附加服務用來構建企業應用程序，如工作流執行和管理，Web服務業務流程，和獲得SQL數據。
Aneka是Manjrasoft的產品，是一個純粹的軟件即服務，並提供最終用戶和開發者在雲端使用.NET技術開發分佈式應用程序的一個平臺技術。該Aneka核心價值是一個面向服務的運行環境- Aneka容器-這是部署在物理和虛擬基礎設施，並允許由不同的編程模型開發的應用程序的執行。Aneka提供了一個軟件開發工具包（SDK）幫助開發人員開發任何語言支持.NET雲應用程序，和在Windows和Linux系統上建立和部署雲的工具集。作爲一個純粹的平臺即服務解決方案，Aneka不提供的IT硬件基礎設施建立計算雲，但系統管理員可以輕鬆地通過在集羣上部署Aneka容器，數據中心，簡單的桌面電腦，甚至在亞馬遜機器映像上捆綁來建立Aneka雲。
軟件即服務解決方案是在雲計算堆棧的頂端，它們提供最終用戶集成的服務，包括硬件，開發平臺和應用程序。用戶不能定製服務，但可以訪問雲端特定的應用程序。軟件即服務實現的歷史是谷歌提供的辦公自動化，如谷歌文檔和谷歌日曆，免費提供給因特網用戶，而且是專業優質的服務。
Salesforce.com和Clarizen.com的商業解決方案例子是，分別服務提供在線客戶關係管理和項目管理服務。
表一給出了一些最具代表性公司在提供雲計算基礎設施即服務/平臺即服務的功能比較。在論文其餘的部分，我們將主要集中在Aneka，以及它如何被用來在雲端進行科學計算。
二、 ANEKA
Aneka是一個軟件平臺和在雲端開發分佈式應用程序的框架。它按需利用臺式機和服務器或數據中心異構網絡的計算資源。Aneka爲開發人員提供了豐富的API，以便透明地利用這些資源和通過各種編程抽象來表示應用程序邏輯。系統管理員可以利用一系列工具監測和控制部署的基礎設施。通過互聯網公共雲提供給任何人，而企業的私有云由一些訪問受限的節點構成。
靈活且面向服務設計的Aneka及其它完全可定製的體系結構使Aneka雲能夠支持不同的方案。Aneka雲可以提供純淨的財務應用所需的計算能力，可以是一個分佈式計算的教學參考模型，也可以構成一個更復雜的網絡組件，用來滿足大規模科學實驗的需要。這也是由各種應用程序模式通過可擴展的編程模型集來實現。爲開發者上線他們的分佈式應用程序定義邏輯和抽象。作爲一個例子，爲了運行科學實驗，可能依靠一個經典的任務模式包，或者爲了實現應用程序作爲一個相互作用的線程或MPI進程的集合，相互關聯的任務集定義一個工作流程，或一系列MapReduce的任務。如果可用的選項不符合要求的，是有可能的用新的編程抽象無縫擴展系統。
Aneka雲可建立在不同的物理基礎設施之上，與其他雲計算解決方案集成，如亞馬遜EC2，以按需擴展它們的能力。在這種特殊情況下，Aneka充當中間人，減少用戶的應用程序訪問公共雲。作爲應用服務提供商，通過使用精細和複雜的定價政策，最大限度地利用所租的虛擬資源和分享用戶花費。一個特別重要的是屆時，當Aneka集成公共雲會計和定價服務如何運作。
圖3給出了Aneka架構概述。爲了開發雲計算應用程序，給開發者提供了軟件開發工具包組成的框架來編程，一個監測和管理Aneka雲的管理工具包和一個可配置的基於容器的服務，構成Aneka雲的基石。在本節我們將主要集中於三個主要特點：Aneka雲架構，應用模型和Aneka和公共雲整合提供的服務。
A Aneka雲
Aneka雲是一個軟件守護進程的集合-所謂容器-可託管在物理或虛擬資源，通過因特網或專用Intranet連接。Aneka容器是整個系統的基石，並公開一個自定義應用程序運行環境服務的集合。
它爲單一節點提供了基本管理功能，並利用託管服務來執行所有的其他操作。我們可以識別光纖和基礎服務。光纖服務通過平臺抽象層與節點直接交互，執行硬件分析和動態資源配置。基礎服務識別Aneka基礎設施的核心繫統，他們提供基本特徵集，每個Aneka容器可專用於執行具體的任務集。Aneka的主要特點之一是能夠通過不同的編程模型來提供多種分佈式應用程序上線的方法; 執行服務主要是關注提供實現這些模型的中間件。額外的服務橫向到整個堆棧由容器託管的服務，如持久性和安全性。
容器的網絡可以是不同部署方案的結果：它可以代表一個完全由相同管理域的物理機（臺式機和集羣）構成的私有云，如企業或大學部。另一方面，一個完全虛擬的基礎設施是可能的，整個Aneka雲可以託管在公共雲，如亞馬遜EC2或桉樹管理的私人數據中心。混合系統也允許的，他們也是最常見的。在這種情況下，當地的基礎設施利用額外的虛擬資源擴展，如圖4所示。
Aneka雲能按需伸縮和提供其他節點或釋放時一些不再需要的節點。這些節點可以是虛擬或物理資源。物理節點可以通過網絡只需關閉節點中的容器就能釋放，而在虛擬資源情況下，它還需要終止託管容器的虛擬機。這個過程可以手動執行或由調度對雲狀態彈性和自主地管理。除供應政策，託管在虛擬機或物理資源中的容器沒有區別，因爲所有的硬件相關的任務都封裝在平臺抽象層。如圖3所示，供應模塊屬於光纖服務，並公開其服務給其他操作不同的組件。
一個服務集總是部署在Aneka雲端。除了光纖服務，該容器的執行核心是基礎服務，履行管理Aneka雲的基本操作。其中，會員服務在所有云節點跟蹤和提供註冊表起關鍵作用，可用於通過特定配置或操作系統動態發現網絡或節點服務。比如，它們可以利用調度服務來定位所有的節點，支持一個給定編程模型執行。其他組件提供特權基本功能，如支持特權執行的文件傳輸和資源預留。
Aneka容器定製取代基礎服務。甚至，Aneka容器可在任何層配置和定製，執行服務常用來區分節點。如圖4所示，一個典型的配置功能部署，調度服務安裝在有限數量的節點上，大部分容器配置爲計算資源。此方案確定了主從拓撲結構，這是唯一的Aneka的可能選擇，這可能只適合一些編程模型。一個基於調度和元調度的分層拓撲可以爲大型基礎設施和重負載條件提供更好的解決方案。
這個簡短的概述提供了關於Aneka雲和它的內部結構的一個總體思路的設計原則。下面，我們將介紹Aneka應用模型開發的功能如何提供定製的運行環境來支持不同的應用程序編程模式。
B Aneka應用模型
Aneka應用模型定義了基本抽象，構成託管在Aneka雲端的分佈式應用程序。它確定了每一個具體實施必須滿足的要求，爲了無縫地集成到Aneka並利用所有託管在雲中可用的服務。應用模型還指定了對運行環境的總體要求，預計來運行是建立在一個特定模型之上的應用程序。
不同於其他中間件的實現Aneka不支持單任務的執行，但任何單位的用戶代碼在一個分佈式應用程序中執行。Aneka中的應用程序有一系列執行單元構成，其性質取決於具體所用的編程模型。一個應用程序是在Aneka中部署，配置和在應用級安全操作的聯合。執行單元構成應用程序的邏輯。單元調度和執行的方法具體到它們屬於的編程模型。通過使用這種通用模式，框架提供了一套跨越所有支持的編程模型的服務：倉儲，持久性，檔案管理，監理，會計和安全性。
爲了實現具體的編程模型Aneka開發者必須：
•定義將被軟件工程師用於架構分佈式應用程序的抽象，並確定其執行邏輯；
•提供執行服務的實施，要求管理Aneka雲的抽象執行；
•實現一個客戶端組件與執行服務協調，管理客戶端執行。
這些組件對於任何編程模型的不同實現是普遍的。當前版本的Aneka支持四種不同的編程模型。它們是：任務模型，線程模型，MapReduce模型和參數掃描模型（PSM）。其他正在開發中，如角色模型，MPI模型和工作流。
表二給出了這些模型的一個功能比較和演示了Aneka應用模型的靈活性。對於每個模型，其中的應用程序類型或場景，自然適合該模型進行了簡要介紹。表提供了每個模式的簡要說明，代表Aneka中應用程序，執行單元以及執行服務。它還提供了一個用戶和系統的觀點。
C 會計，定價和與公共雲整合
Aneka提供了一個基礎設施，允許建立私有，公共和混合雲。在雲環境中，尤其是在公共雲和混合雲例子中，重要的是要落實機制，控制資源和使用定價，以便向用戶收費，儘可能減少花費最大限度地利用系統。會計和定價是爲Aneka中的應用程序實現定價機制的一項任務。
會計服務負責跟蹤系統使用情況統計和分類每個用戶和應用程序。信息是根本，用來估計必須向每個用戶收取的花費和決定應用程序如何對用戶花費負責。當前會計服務的實現能夠追蹤每個應用程序每個執行單元所花的時間，並保存各單位執行歷史。然後這些數據使用被選中的定價策略，以確定向用戶收取的金額。例如，一個簡單的政策可以分配到每個資源的價格和確定每個應用程序的產生的費用，通過簡單地計算所有應用程序的執行單位的加權總和。其他政策能夠考慮到一個應用程序使用的具體服務。
當Aneka雲完全部署或與公共雲整合時，這兩個組件的作用變得更加重要。在這種情況下，當確定用戶的賬單時，利用虛擬公共資源產生的費用要加以考慮。混合雲構成一個具有挑戰性的場景：在這裏，置備虛擬資源以滿足與用戶簽訂的服務級別協議（SLA）。爲了面對這一挑戰，Aneka提供了一個對象模型允許第三方無縫地整合不同的調度算法，可以協調他們的活動和資源配置服務。當前執行仍處於初期階段，設計一個模型，其中的調度程序可以訪問多個資源池，實時跟蹤每個活動實例的花費。池的基本策略是試圖儘可能重用，爲了最小化公共虛擬資源的花費，實例已經在運行。不同的調度算法可以插入到該模型，因此，開發人員可以提供多個策略，決定何時增長或收縮構成Aneka雲的節點集。
Aneka是一個軟件平臺和在雲端開發分佈式應用程序的框架。它按需利用臺式機和服務器或數據中心異構網絡的計算資源。Aneka爲開發人員提供了豐富的API，以便透明地利用這些資源和通過各種編程抽象來表示應用程序邏輯。系統管理員可以利用一系列工具監測和控制部署的基礎設施。通過互聯網公共雲提供給任何人，而企業的私有云由一些訪問受限的節點構成。
靈活且面向服務設計的Aneka及其它完全可定製的體系結構使Aneka雲能夠支持不同的方案。Aneka雲可以提供純淨的財務應用所需的計算能力，可以是一個分佈式計算的教學參考模型，也可以構成一個更復雜的網絡組件，用來滿足大規模科學實驗的需要。這也是由各種應用程序模式通過可擴展的編程模型集來實現。爲開發者上線他們的分佈式應用程序定義邏輯和抽象。作爲一個例子，爲了運行科學實驗，可能依靠一個經典的任務模式包，或者爲了實現應用程序作爲一個相互作用的線程或MPI進程的集合，相互關聯的任務集定義一個工作流程，或一系列MapReduce的任務。如果可用的選項不符合要求的，是有可能的用新的編程抽象無縫擴展系統。
Aneka雲可建立在不同的物理基礎設施之上，與其他雲計算解決方案集成，如亞馬遜EC2，以按需擴展它們的能力。在這種特殊情況下，Aneka充當中間人，減少用戶的應用程序訪問公共雲。作爲應用服務提供商，通過使用精細和複雜的定價政策，最大限度地利用所租的虛擬資源和分享用戶花費。一個特別重要的是屆時，當Aneka集成公共雲會計和定價服務如何運作。
圖3給出了Aneka架構概述。爲了開發雲計算應用程序，給開發者提供了軟件開發工具包組成的框架來編程，一個監測和管理Aneka雲的管理工具包和一個可配置的基於容器的服務，構成Aneka雲的基石。在本節我們將主要集中於三個主要特點：Aneka雲架構，應用模型和Aneka和公共雲整合提供的服務。
A Aneka雲
Aneka雲是一個軟件守護進程的集合-所謂容器-可託管在物理或虛擬資源，通過因特網或專用Intranet連接。Aneka容器是整個系統的基石，並公開一個自定義應用程序運行環境服務的集合。
它爲單一節點提供了基本管理功能，並利用託管服務來執行所有的其他操作。我們可以識別光纖和基礎服務。光纖服務通過平臺抽象層與節點直接交互，執行硬件分析和動態資源配置。基礎服務識別Aneka基礎設施的核心繫統，他們提供基本特徵集，每個Aneka容器可專用於執行具體的任務集。Aneka的主要特點之一是能夠通過不同的編程模型來提供多種分佈式應用程序上線的方法; 執行服務主要是關注提供實現這些模型的中間件。額外的服務橫向到整個堆棧由容器託管的服務，如持久性和安全性。
容器的網絡可以是不同部署方案的結果：它可以代表一個完全由相同管理域的物理機（臺式機和集羣）構成的私有云，如企業或大學部。另一方面，一個完全虛擬的基礎設施是可能的，整個Aneka雲可以託管在公共雲，如亞馬遜EC2或桉樹管理的私人數據中心。混合系統也允許的，他們也是最常見的。在這種情況下，當地的基礎設施利用額外的虛擬資源擴展，如圖4所示。
Aneka雲能按需伸縮和提供其他節點或釋放時一些不再需要的節點。這些節點可以是虛擬或物理資源。物理節點可以通過網絡只需關閉節點中的容器就能釋放，而在虛擬資源情況下，它還需要終止託管容器的虛擬機。這個過程可以手動執行或由調度對雲狀態彈性和自主地管理。除供應政策，託管在虛擬機或物理資源中的容器沒有區別，因爲所有的硬件相關的任務都封裝在平臺抽象層。如圖3所示，供應模塊屬於光纖服務，並公開其服務給其他操作不同的組件。
一個服務集總是部署在Aneka雲端。除了光纖服務，該容器的執行核心是基礎服務，履行管理Aneka雲的基本操作。其中，會員服務在所有云節點跟蹤和提供註冊表起關鍵作用，可用於通過特定配置或操作系統動態發現網絡或節點服務。比如，它們可以利用調度服務來定位所有的節點，支持一個給定編程模型執行。其他組件提供特權基本功能，如支持特權執行的文件傳輸和資源預留。
Aneka容器定製取代基礎服務。甚至，Aneka容器可在任何層配置和定製，執行服務常用來區分節點。如圖4所示，一個典型的配置功能部署，調度服務安裝在有限數量的節點上，大部分容器配置爲計算資源。此方案確定了主從拓撲結構，這是唯一的Aneka的可能選擇，這可能只適合一些編程模型。一個基於調度和元調度的分層拓撲可以爲大型基礎設施和重負載條件提供更好的解決方案。
這個簡短的概述提供了關於Aneka雲和它的內部結構的一個總體思路的設計原則。下面，我們將介紹Aneka應用模型開發的功能如何提供定製的運行環境來支持不同的應用程序編程模式。
B Aneka應用模型
Aneka應用模型定義了基本抽象，構成託管在Aneka雲端的分佈式應用程序。它確定了每一個具體實施必須滿足的要求，爲了無縫地集成到Aneka並利用所有託管在雲中可用的服務。應用模型還指定了對運行環境的總體要求，預計來運行是建立在一個特定模型之上的應用程序。
不同於其他中間件的實現Aneka不支持單任務的執行，但任何單位的用戶代碼在一個分佈式應用程序中執行。Aneka中的應用程序有一系列執行單元構成，其性質取決於具體所用的編程模型。一個應用程序是在Aneka中部署，配置和在應用級安全操作的聯合。執行單元構成應用程序的邏輯。單元調度和執行的方法具體到它們屬於的編程模型。通過使用這種通用模式，框架提供了一套跨越所有支持的編程模型的服務：倉儲，持久性，檔案管理，監理，會計和安全性。
爲了實現具體的編程模型Aneka開發者必須：
•定義將被軟件工程師用於架構分佈式應用程序的抽象，並確定其執行邏輯；
•提供執行服務的實施，要求管理Aneka雲的抽象執行；
•實現一個客戶端組件與執行服務協調，管理客戶端執行。
這些組件對於任何編程模型的不同實現是普遍的。當前版本的Aneka支持四種不同的編程模型。它們是：任務模型，線程模型，MapReduce模型和參數掃描模型（PSM）。其他正在開發中，如角色模型，MPI模型和工作流。
表二給出了這些模型的一個功能比較和演示了Aneka應用模型的靈活性。對於每個模型，其中的應用程序類型或場景，自然適合該模型進行了簡要介紹。表提供了每個模式的簡要說明，代表Aneka中應用程序，執行單元以及執行服務。它還提供了一個用戶和系統的觀點。
C 會計，定價和與公共雲整合
Aneka提供了一個基礎設施，允許建立私有，公共和混合雲。在雲環境中，尤其是在公共雲和混合雲例子中，重要的是要落實機制，控制資源和使用定價，以便向用戶收費，儘可能減少花費最大限度地利用系統。會計和定價是爲Aneka中的應用程序實現定價機制的一項任務。
會計服務負責跟蹤系統使用情況統計和分類每個用戶和應用程序。信息是根本，用來估計必須向每個用戶收取的花費和決定應用程序如何對用戶花費負責。當前會計服務的實現能夠追蹤每個應用程序每個執行單元所花的時間，並保存各單位執行歷史。然後這些數據使用被選中的定價策略，以確定向用戶收取的金額。例如，一個簡單的政策可以分配到每個資源的價格和確定每個應用程序的產生的費用，通過簡單地計算所有應用程序的執行單位的加權總和。其他政策能夠考慮到一個應用程序使用的具體服務。
當Aneka雲完全部署或與公共雲整合時，這兩個組件的作用變得更加重要。在這種情況下，當確定用戶的賬單時，利用虛擬公共資源產生的費用要加以考慮。混合雲構成一個具有挑戰性的場景：在這裏，置備虛擬資源以滿足與用戶簽訂的服務級別協議（SLA）。爲了面對這一挑戰，Aneka提供了一個對象模型允許第三方無縫地整合不同的調度算法，可以協調他們的活動和資源配置服務。當前執行仍處於初期階段，設計一個模型，其中的調度程序可以訪問多個資源池，實時跟蹤每個活動實例的花費。池的基本策略是試圖儘可能重用，爲了最小化公共虛擬資源的花費，實例已經在運行。不同的調度算法可以插入到該模型，因此，開發人員可以提供多個策略，決定何時增長或收縮構成Aneka雲的節點集。
三、 案例分析
在本節中，我們將討論兩個在雲端科學計算的實際應用程序。案例研究都已在亞馬遜EC2基礎設施上實現。第一個案例研究是使用Aneka雲將基因表達數據集進行分類，而第二個案例是提出一個fMRI腦功能成像工作流的執行，並與傳統的網格進行同樣試驗的性能進行比較。在兩個案例下，提出一個使用雲技術的成本分析。
A 基因表達數據的分類
基因表達分析是一次性測量活動-表達-成千上萬個基因，創造一個細胞功能的全球畫面。剖面分析，這是基因活動的測量，幫助研究人員識別基因和疾病之間的關係，以及細胞是如何應對一個特定的治療。其中最有希望的支持基因剖面分析的技術是DNA芯片技術，特別有助於癌症預防。這種技術的一個缺點是產生大量的數據：每個病人的DNA紋印就是成千上萬的基因組織成一個序列，其狀態（或活動）由特定的顏色或序列中的黑點表示。基於這些原因，癌症的診斷分析的分類不能沒有計算機技術的幫助。
在不同的分類方法中，CoXCS分類方法在基因表達數據集的分類上特別有效果。CoXCS是基於特徵空間分區的協同進化學習分類法。它通過引入協同進化方法擴展了XCS模型。圖5給出了CoXCS內在邏輯的原理圖的例子：獨立種羣分類器的收集是通過使用訓練數據集的特徵空間的不同分區。經過反覆的迭代，每個獨立種羣的選定分類器根據一些遺傳策略轉化爲不同的種羣。然後，進化過程反覆進行，直至達到一個特定的閾值。
CoXCS內部架構，基於特徵空間分割，不僅優於原有XCS的基因表達數據集分類，也是所有的經典方法。表三表示當應用兩個樣品基因表達數據集時，不同的分類方法的性能比較。從測試階段所獲得的結果可以發現，CoXCS的精度肯定比其他分類方面所取得的結果要好。
使用CoXCS的唯一的缺點是把分類器演化成一個穩定的形式需要很長的計算時間。CoXCS的內在並行允許分佈式和更快的執行。雲CoXCS是基於雲的CoXCS實施，利用Aneka計算云爲每次迭代分配獨立種羣分類器進化。爲了迅速擁有的雲CoXCS的工作原型，我們把它作爲後代工具包的一個策略實施。後代是一個允許快速成型策略的軟件環境。這是基於客戶端的工作流，可以通過Aneka和其它中間件來執行。
雲CoXCS中算法實現和CoXCS中一樣，因此，我們期望有相同的精度和獲得一個在訓練期間幾乎線性加速。爲了驗證假設，我們在亞馬遜EC2基礎設施上部署一個Aneka雲，並進行一些初步的測試。這些實驗讓我們研究執行時不同設置的影響和雲CoXCS的性能。我們進行了兩個實驗：一次使用不同的基因表達數據集，第二次部署不同的實例類型在亞馬遜EC2的計算節點上。
我們沒有改變CoXCS的參數，已固定爲下列值：獨立人口每5000人；勘探/開發率設定爲0.3；所有數據集分20個區；遷移率設置爲10％的人口大小；5個單獨的遷移階段和100次獨立迭代用於遷移階段的人口演化。
關於部署基礎設施，兩個不同的亞馬遜映像被使用：主映像和從映像。主映像是一個Aneka容器調度和文件分期服務用於Windows Server 2003操作系統任務模式爲特徵的一個實例。從映像託管一個配置執行服務的容器，部署在紅旗Linux 4.1.2 (kernel: 2.6.1.7)上。爲實驗部署的雲由一個主節點和多個從節點組成，從節點按需增加。實驗用來比較不同的雲設置。兩種不同的映像類型用於測試從節點實例：m1.small和c1.medium。對於主節點，我們使用m1.small實例類型測試。
表四描述兩種用於實驗的不同雲設置的特徵。可以看出，c1.medium實例建模爲雙核機，並提供計算能力是m1.small提供的兩倍。計算能力體現在EC2計算單元。在這兩種情況下，得到每個階段完整的並行，因爲Aneka調度器每個核心調度一個任務。因此，c1.medium實例每次將處理兩個任務。
爲了驗證實驗，我們使用了交叉驗證技術。爲了支持交叉驗證，BRCA數據集被分爲兩份，而前列腺數據集被分成4份。表五記錄了兩種設置的執行時間。
兩種不同設置上進行的實驗表明，在兩種情況下，執行前列腺數據集所花的時間大約是BRCA 數據集執行時間的四倍。這非常合理，因爲BRCA基因樣本的數量是前列腺數據集樣本數量的四分之一。
另一個有趣的事實是，執行c1.medium安裝需要大量的時間完成。平均約32％以上相應的m1.small設置的運行。由於單CoXCS執行的任務設計爲一個單線程進程，它沒有從兩個核心中受益。此外，在整個學習進程中執行時間的增加能由事實解釋，兩項任務是競爭共享資源，如高速緩存，總線，內存和文件系統。另一個要考慮的問題是CoXCS 任務在Aneka運行環境中執行，Aneka在雙核機上分享。爲此，在基礎級的基礎設施上的一些小操作按順序執行。最後，CoXCS任務是計算任務，使用相當大的內存量來進行學習階段。這可能會在一個多核心設置中造成重大的緩存未命中。
更有趣的是有關預算用來進行實驗的考慮。鑑於使用的分區數量大，單CoXCS任務擁有的時間相當有限。在BRCA數據集的案件中，在不到一個小時的時間完成所有的探索，在前列腺數據集案例中不到兩個小時的時間。儘管有不同的時序，這些執行使兩個不同的設置花費相同的時間。如果我們考慮到亞馬遜提供的粒度不能足以提供有效的定價模式，由於執行時間有着顯著差異（平均32％）。現行會計制度在Aneka中實施，每分鐘跟蹤執行任務，它被設計成多個用戶之間共享虛擬資源。通過讓Aneka作爲雲提供者和最終用戶的中間人，實行更有效的計費策略。
B 功能磁共振成像工作流程
腦成像技術爲重點在處理從磁共振成像掃描儀獲取的圖像數據。處理後的圖像將被醫務人員和科學家做進一步分析。是功能磁共振成像（fMRI）特別想確定哪些部分大腦反應是某些特定刺激的響應。爲了實現這一目標，首先，磁共振成像掃描儀收集到的腦圖像要轉化，以減少解剖變異，從一個主題自然分化爲另一個。這個過程被稱爲特殊正常化或圖像登記（IR）。一旦這一步完成，圖像和地圖集比較，這是一個參考圖像由各腦圖像的平均所得，並作爲最後一步，具體的功能磁共振成像分析程序執行。
圖6給出了順序步驟的功能磁共振成像分析的可視化表示。功能磁共振成像的整個過程中，只有空間正常化，其中涉及複雜操作的序列，被建模爲一個工作流程。如圖6所示，在自然界，這樣的工作流程是數據和計算密集型。
一個典型的情況時使用10到40幅腦圖像進行不同的分組反覆執行分析。每個輸入圖像約爲16MB。對20張圖片，總輸入工作流是640MB。工作流的每個進程輸出數據大小在20MB到40MB之間。在40幅腦圖像的例子中，數據處理的總大小超過20GB。1-subject紅外工作流的完美執行時間在單機上大約是69分鐘，不包括轉化數據的時間。在分佈式執行設置中，數據傳輸時間和管理費用是大塊的，執行的總時間顯着增加。
最初的實驗，在第二屆IEEE國際可擴展計算挑戰賽期間展示執行20幅腦圖像，2009年CCGrid大會在中國上海舉行。這裏介紹的實驗結果是部分展示，是兩名獲獎者其中一人的的競賽結果。
部署系統用來運行實驗完全託管在Amazon雲基礎設施上。執行工作流由Gridbus工作流引擎管理，處理工作流中任務執行如圖7所示。實驗由2,10,20幅腦圖像重複執行，在亞馬遜雲上執行，雲亞馬遜EC2作爲計算資源的提供者，S3爲存儲輸入數據。執行結果與在Grid'5000執行相同的工作流進行比較，網絡中的每個計算節點都作爲存儲和計算資源。用於比較兩個執行結果的指標是完工時間（系統第一次提交任務的提交時間和執行最後出口任務的輸出到達時間的差額）和工作流執行成本。在Grid'5000執行成本假定爲零。
圖8比較了不同數量腦圖像的工作流完工時間。對於大量的腦圖像，我們觀察到使用EC2時完工時間減少。對於2幅腦圖像，完工時間變化並不顯着。完工時間的差異主要在於縮短EC2虛擬節點數據傳輸時間，和在Grid'5000多個物理站點之間傳輸相比。對於一個大的工作流（20幅腦圖像）個人檔案傳輸時間會累積起來，導致總完工時間產生顯著影響，當和Grid'5000的結果相比。
圖9比較了完工時間的變化與EC2使用成本。執行過程中數據傳輸和存儲花費很小，因爲計算節點都是雲數據中心的一部分。隨着執行節點數目由2個增加至20個EC2節點，分析20幅腦圖像的工作流完工時間從391分鐘至107分鐘顯着降低。雲節點的使用成本從5.2美元上升至14.2美元。然而，使用的EC2的花費和數量之間的比率表明：一個使用20個EC2節點的工作流的計算成本是每臺機器0.714美元，相反，使用2個EC2節點執行相同的工作流需要2.6美元。每臺機使用平均花費降低，隨着機器數從2增加到20。因此，整個應用程序執行花費增加不超過三倍，相似因素的執行時間減少。
從我們的實驗中，我們得出大型高性能應用程序可以受益於公共雲提供的按需接入和可擴展的計算和存儲資源。因此，通過使用充足的雲計算花費的增加彌補應用程序執行時間顯著減少而且，按需提供。
在本節中，我們將討論兩個在雲端科學計算的實際應用程序。案例研究都已在亞馬遜EC2基礎設施上實現。第一個案例研究是使用Aneka雲將基因表達數據集進行分類，而第二個案例是提出一個fMRI腦功能成像工作流的執行，並與傳統的網格進行同樣試驗的性能進行比較。在兩個案例下，提出一個使用雲技術的成本分析。
A 基因表達數據的分類
基因表達分析是一次性測量活動-表達-成千上萬個基因，創造一個細胞功能的全球畫面。剖面分析，這是基因活動的測量，幫助研究人員識別基因和疾病之間的關係，以及細胞是如何應對一個特定的治療。其中最有希望的支持基因剖面分析的技術是DNA芯片技術，特別有助於癌症預防。這種技術的一個缺點是產生大量的數據：每個病人的DNA紋印就是成千上萬的基因組織成一個序列，其狀態（或活動）由特定的顏色或序列中的黑點表示。基於這些原因，癌症的診斷分析的分類不能沒有計算機技術的幫助。
在不同的分類方法中，CoXCS分類方法在基因表達數據集的分類上特別有效果。CoXCS是基於特徵空間分區的協同進化學習分類法。它通過引入協同進化方法擴展了XCS模型。圖5給出了CoXCS內在邏輯的原理圖的例子：獨立種羣分類器的收集是通過使用訓練數據集的特徵空間的不同分區。經過反覆的迭代，每個獨立種羣的選定分類器根據一些遺傳策略轉化爲不同的種羣。然後，進化過程反覆進行，直至達到一個特定的閾值。
CoXCS內部架構，基於特徵空間分割，不僅優於原有XCS的基因表達數據集分類，也是所有的經典方法。表三表示當應用兩個樣品基因表達數據集時，不同的分類方法的性能比較。從測試階段所獲得的結果可以發現，CoXCS的精度肯定比其他分類方面所取得的結果要好。
使用CoXCS的唯一的缺點是把分類器演化成一個穩定的形式需要很長的計算時間。CoXCS的內在並行允許分佈式和更快的執行。雲CoXCS是基於雲的CoXCS實施，利用Aneka計算云爲每次迭代分配獨立種羣分類器進化。爲了迅速擁有的雲CoXCS的工作原型，我們把它作爲後代工具包的一個策略實施。後代是一個允許快速成型策略的軟件環境。這是基於客戶端的工作流，可以通過Aneka和其它中間件來執行。
雲CoXCS中算法實現和CoXCS中一樣，因此，我們期望有相同的精度和獲得一個在訓練期間幾乎線性加速。爲了驗證假設，我們在亞馬遜EC2基礎設施上部署一個Aneka雲，並進行一些初步的測試。這些實驗讓我們研究執行時不同設置的影響和雲CoXCS的性能。我們進行了兩個實驗：一次使用不同的基因表達數據集，第二次部署不同的實例類型在亞馬遜EC2的計算節點上。
我們沒有改變CoXCS的參數，已固定爲下列值：獨立人口每5000人；勘探/開發率設定爲0.3；所有數據集分20個區；遷移率設置爲10％的人口大小；5個單獨的遷移階段和100次獨立迭代用於遷移階段的人口演化。
關於部署基礎設施，兩個不同的亞馬遜映像被使用：主映像和從映像。主映像是一個Aneka容器調度和文件分期服務用於Windows Server 2003操作系統任務模式爲特徵的一個實例。從映像託管一個配置執行服務的容器，部署在紅旗Linux 4.1.2 (kernel: 2.6.1.7)上。爲實驗部署的雲由一個主節點和多個從節點組成，從節點按需增加。實驗用來比較不同的雲設置。兩種不同的映像類型用於測試從節點實例：m1.small和c1.medium。對於主節點，我們使用m1.small實例類型測試。
表四描述兩種用於實驗的不同雲設置的特徵。可以看出，c1.medium實例建模爲雙核機，並提供計算能力是m1.small提供的兩倍。計算能力體現在EC2計算單元。在這兩種情況下，得到每個階段完整的並行，因爲Aneka調度器每個核心調度一個任務。因此，c1.medium實例每次將處理兩個任務。
爲了驗證實驗，我們使用了交叉驗證技術。爲了支持交叉驗證，BRCA數據集被分爲兩份，而前列腺數據集被分成4份。表五記錄了兩種設置的執行時間。
兩種不同設置上進行的實驗表明，在兩種情況下，執行前列腺數據集所花的時間大約是BRCA 數據集執行時間的四倍。這非常合理，因爲BRCA基因樣本的數量是前列腺數據集樣本數量的四分之一。
另一個有趣的事實是，執行c1.medium安裝需要大量的時間完成。平均約32％以上相應的m1.small設置的運行。由於單CoXCS執行的任務設計爲一個單線程進程，它沒有從兩個核心中受益。此外，在整個學習進程中執行時間的增加能由事實解釋，兩項任務是競爭共享資源，如高速緩存，總線，內存和文件系統。另一個要考慮的問題是CoXCS 任務在Aneka運行環境中執行，Aneka在雙核機上分享。爲此，在基礎級的基礎設施上的一些小操作按順序執行。最後，CoXCS任務是計算任務，使用相當大的內存量來進行學習階段。這可能會在一個多核心設置中造成重大的緩存未命中。
更有趣的是有關預算用來進行實驗的考慮。鑑於使用的分區數量大，單CoXCS任務擁有的時間相當有限。在BRCA數據集的案件中，在不到一個小時的時間完成所有的探索，在前列腺數據集案例中不到兩個小時的時間。儘管有不同的時序，這些執行使兩個不同的設置花費相同的時間。如果我們考慮到亞馬遜提供的粒度不能足以提供有效的定價模式，由於執行時間有着顯著差異（平均32％）。現行會計制度在Aneka中實施，每分鐘跟蹤執行任務，它被設計成多個用戶之間共享虛擬資源。通過讓Aneka作爲雲提供者和最終用戶的中間人，實行更有效的計費策略。
B 功能磁共振成像工作流程
腦成像技術爲重點在處理從磁共振成像掃描儀獲取的圖像數據。處理後的圖像將被醫務人員和科學家做進一步分析。是功能磁共振成像（fMRI）特別想確定哪些部分大腦反應是某些特定刺激的響應。爲了實現這一目標，首先，磁共振成像掃描儀收集到的腦圖像要轉化，以減少解剖變異，從一個主題自然分化爲另一個。這個過程被稱爲特殊正常化或圖像登記（IR）。一旦這一步完成，圖像和地圖集比較，這是一個參考圖像由各腦圖像的平均所得，並作爲最後一步，具體的功能磁共振成像分析程序執行。
圖6給出了順序步驟的功能磁共振成像分析的可視化表示。功能磁共振成像的整個過程中，只有空間正常化，其中涉及複雜操作的序列，被建模爲一個工作流程。如圖6所示，在自然界，這樣的工作流程是數據和計算密集型。
一個典型的情況時使用10到40幅腦圖像進行不同的分組反覆執行分析。每個輸入圖像約爲16MB。對20張圖片，總輸入工作流是640MB。工作流的每個進程輸出數據大小在20MB到40MB之間。在40幅腦圖像的例子中，數據處理的總大小超過20GB。1-subject紅外工作流的完美執行時間在單機上大約是69分鐘，不包括轉化數據的時間。在分佈式執行設置中，數據傳輸時間和管理費用是大塊的，執行的總時間顯着增加。
最初的實驗，在第二屆IEEE國際可擴展計算挑戰賽期間展示執行20幅腦圖像，2009年CCGrid大會在中國上海舉行。這裏介紹的實驗結果是部分展示，是兩名獲獎者其中一人的的競賽結果。
部署系統用來運行實驗完全託管在Amazon雲基礎設施上。執行工作流由Gridbus工作流引擎管理，處理工作流中任務執行如圖7所示。實驗由2,10,20幅腦圖像重複執行，在亞馬遜雲上執行，雲亞馬遜EC2作爲計算資源的提供者，S3爲存儲輸入數據。執行結果與在Grid'5000執行相同的工作流進行比較，網絡中的每個計算節點都作爲存儲和計算資源。用於比較兩個執行結果的指標是完工時間（系統第一次提交任務的提交時間和執行最後出口任務的輸出到達時間的差額）和工作流執行成本。在Grid'5000執行成本假定爲零。
圖8比較了不同數量腦圖像的工作流完工時間。對於大量的腦圖像，我們觀察到使用EC2時完工時間減少。對於2幅腦圖像，完工時間變化並不顯着。完工時間的差異主要在於縮短EC2虛擬節點數據傳輸時間，和在Grid'5000多個物理站點之間傳輸相比。對於一個大的工作流（20幅腦圖像）個人檔案傳輸時間會累積起來，導致總完工時間產生顯著影響，當和Grid'5000的結果相比。
圖9比較了完工時間的變化與EC2使用成本。執行過程中數據傳輸和存儲花費很小，因爲計算節點都是雲數據中心的一部分。隨着執行節點數目由2個增加至20個EC2節點，分析20幅腦圖像的工作流完工時間從391分鐘至107分鐘顯着降低。雲節點的使用成本從5.2美元上升至14.2美元。然而，使用的EC2的花費和數量之間的比率表明：一個使用20個EC2節點的工作流的計算成本是每臺機器0.714美元，相反，使用2個EC2節點執行相同的工作流需要2.6美元。每臺機使用平均花費降低，隨着機器數從2增加到20。因此，整個應用程序執行花費增加不超過三倍，相似因素的執行時間減少。
從我們的實驗中，我們得出大型高性能應用程序可以受益於公共雲提供的按需接入和可擴展的計算和存儲資源。因此，通過使用充足的雲計算花費的增加彌補應用程序執行時間顯著減少而且，按需提供。
四、 觀察與思考
雲計算模型爲最終用戶，企業，服務提供商帶來了若干好處。根據應用程序實際需要，動態擴展按使用支付的IT基礎設施的優勢，構成雲計算所帶來的主要好處。此外，通過移動IT基礎設施到雲中，那是沒有必要的：（a）承擔費用來自峯值負載容量規劃；（b）由於零星地需要大計算能力，以靜態獲得基礎設施；及（c）要支付昂貴的管理和維護費用。這些問題很可能對企業和服務提供商很重要，可以最大化他們的收入和削減成本。對於最終用戶所關注的，雲計算最有趣的在於利用可用的應該程序，隨時隨地讀取他們的個人數據和文檔。另一方面，科研機構對PaaS和IaaS的產品更感興趣，允許完全控制科學研究和精心定製的軟件系統的基礎設施，根據進行的實驗的具體需要。雲計算也保證了所需服務的質量，由服務層協議制定。這一方面構成一個附加的價值，這可能使科學家進行額外限制的實驗時更喜歡計算雲而不是傳統網格。例如，進行不同類型的分析產生不同的費用，通過優化權衡預算和結果預期的準確性。
由於它特殊的性質，雲計算引入了新的挑戰和新問題將面對，尤其是法律和安全的方面。在公共雲案例中，系統，應用程序和個人資料將託管在第三方擁有的數據中心。這些數據中心通常是放置在更方便的地理位置，減少維修和消耗費用。這樣的地方甚至可以在不同的國家，適用不同的法律條款。根據託管在哪裏，同樣的應用程序可以被認爲是合法或非法的。此外，隱私和數據的保密性取決於它的存儲位置。例如，賬戶的機密在位於瑞士的銀行可能不能保證位於美國的數據中心的使用。爲了解決這一問題，一些雲計算提供商客把主機的地理位置作爲與用戶簽訂的服務及協議的一個要素。例如，亞馬遜EC2提出了可用性區域的概念，確定應用程序運行的數據中心的位置。用戶可以接入不同的可用性區域，並決定在哪裏運行應用程序。安全是另一個重要的問題，目前尚不清楚是哪一種措施是用來保證數據的隱私，除了標準的安全工具。然而，這個問題對企業和最終用戶更加重要，甚至在科學計算上也會有相關的影響：許多科學項目往往由聯邦機構或政府直接資助，常常在合理的數據使用和管理方面提出嚴格的限制。
雲計算模型爲最終用戶，企業，服務提供商帶來了若干好處。根據應用程序實際需要，動態擴展按使用支付的IT基礎設施的優勢，構成雲計算所帶來的主要好處。此外，通過移動IT基礎設施到雲中，那是沒有必要的：（a）承擔費用來自峯值負載容量規劃；（b）由於零星地需要大計算能力，以靜態獲得基礎設施；及（c）要支付昂貴的管理和維護費用。這些問題很可能對企業和服務提供商很重要，可以最大化他們的收入和削減成本。對於最終用戶所關注的，雲計算最有趣的在於利用可用的應該程序，隨時隨地讀取他們的個人數據和文檔。另一方面，科研機構對PaaS和IaaS的產品更感興趣，允許完全控制科學研究和精心定製的軟件系統的基礎設施，根據進行的實驗的具體需要。雲計算也保證了所需服務的質量，由服務層協議制定。這一方面構成一個附加的價值，這可能使科學家進行額外限制的實驗時更喜歡計算雲而不是傳統網格。例如，進行不同類型的分析產生不同的費用，通過優化權衡預算和結果預期的準確性。
由於它特殊的性質，雲計算引入了新的挑戰和新問題將面對，尤其是法律和安全的方面。在公共雲案例中，系統，應用程序和個人資料將託管在第三方擁有的數據中心。這些數據中心通常是放置在更方便的地理位置，減少維修和消耗費用。這樣的地方甚至可以在不同的國家，適用不同的法律條款。根據託管在哪裏，同樣的應用程序可以被認爲是合法或非法的。此外，隱私和數據的保密性取決於它的存儲位置。例如，賬戶的機密在位於瑞士的銀行可能不能保證位於美國的數據中心的使用。爲了解決這一問題，一些雲計算提供商客把主機的地理位置作爲與用戶簽訂的服務及協議的一個要素。例如，亞馬遜EC2提出了可用性區域的概念，確定應用程序運行的數據中心的位置。用戶可以接入不同的可用性區域，並決定在哪裏運行應用程序。安全是另一個重要的問題，目前尚不清楚是哪一種措施是用來保證數據的隱私，除了標準的安全工具。然而，這個問題對企業和最終用戶更加重要，甚至在科學計算上也會有相關的影響：許多科學項目往往由聯邦機構或政府直接資助，常常在合理的數據使用和管理方面提出嚴格的限制。
五、 結論和未來方向
討論了公共雲的潛在機會和當前國家最先進的高性能科學計算。把採用雲計算作爲新時代計算的一種技術和模式，肯定會很受歡迎和吸引企業和服務提供者。還在最終用戶之間廣泛傳播，越來越多的最終用戶把他們的個人數據放到雲端。對於使用雲計算進行科學計算仍處於初期階段。
科學計算網格，如開放科學網格和歐洲高效電子科學網絡已經提供大規模的基礎設施，一套完善的方法和工具，以及巨大的用戶羣。有趣的是科研機構計算雲的使用有完全可定製執行程序運行環境的可能性。其他有趣的是，在給定的實驗服務質量方面考慮不同的可用選項。探索新奇有趣的場景，科學家可以決定實驗的精確程度或分析具體分區的數據，根據雲提供商制定的服務級協議。目前，一些前期工作調查在雲中進行科學研究的費用，採用亞馬遜EC2和S3的基礎設施作爲案例研究。從操作的角度來看，第一個科學計算雲已被部署，是一個大學聯盟的共同努力的結果。政府機構的積極態度將建立更多的科學雲，比如能源部使用雲計算。採用雲計算進行計算科學，將有助於推進其他功能方面的研究，比如安全性和司法管轄權。許多科學項目都是由政府機構資助，有時在數據的使用方面施加很大的限制。
最後還展示了一些在雲中進行科學實驗的實際例子，並介紹了Aneka提供的先進功能，利用公共或私有云根據應用程序需要按需擴展。兩個案例研究介紹了通過使用部署在亞馬遜EC2基礎設施上的Aneka雲進行基因表達數據分類和在EC2上執行的科學工作流。實驗表現的初步審議表明，有效利用雲資源是非常重要的，和必須仔細評估成本和性能的權衡。這就是Aneka平臺變成了現實。作爲一箇中間人，它可以訪問雲資源，最大化其全球化的應用，並提供最終用戶更好的定價模式。在這個方向更詳細的研究，必將使這項工作更進一步。
討論了公共雲的潛在機會和當前國家最先進的高性能科學計算。把採用雲計算作爲新時代計算的一種技術和模式，肯定會很受歡迎和吸引企業和服務提供者。還在最終用戶之間廣泛傳播，越來越多的最終用戶把他們的個人數據放到雲端。對於使用雲計算進行科學計算仍處於初期階段。
科學計算網格，如開放科學網格和歐洲高效電子科學網絡已經提供大規模的基礎設施，一套完善的方法和工具，以及巨大的用戶羣。有趣的是科研機構計算雲的使用有完全可定製執行程序運行環境的可能性。其他有趣的是，在給定的實驗服務質量方面考慮不同的可用選項。探索新奇有趣的場景，科學家可以決定實驗的精確程度或分析具體分區的數據，根據雲提供商制定的服務級協議。目前，一些前期工作調查在雲中進行科學研究的費用，採用亞馬遜EC2和S3的基礎設施作爲案例研究。從操作的角度來看，第一個科學計算雲已被部署，是一個大學聯盟的共同努力的結果。政府機構的積極態度將建立更多的科學雲，比如能源部使用雲計算。採用雲計算進行計算科學，將有助於推進其他功能方面的研究，比如安全性和司法管轄權。許多科學項目都是由政府機構資助，有時在數據的使用方面施加很大的限制。
最後還展示了一些在雲中進行科學實驗的實際例子，並介紹了Aneka提供的先進功能，利用公共或私有云根據應用程序需要按需擴展。兩個案例研究介紹了通過使用部署在亞馬遜EC2基礎設施上的Aneka雲進行基因表達數據分類和在EC2上執行的科學工作流。實驗表現的初步審議表明，有效利用雲資源是非常重要的，和必須仔細評估成本和性能的權衡。這就是Aneka平臺變成了現實。作爲一箇中間人，它可以訪問雲資源，最大化其全球化的應用，並提供最終用戶更好的定價模式。在這個方向更詳細的研究，必將使這項工作更進一步。
（2009年第10屆普適系統、算法和網絡國際研討會）
雲計算基礎架構分析資源虛擬化的並行計算
雲計算是近來最爲熱門的IT技術，也被認爲是互聯網乃至 IT 行業的未來發展趨勢，產業規模預計達到千億美元。現在所有技術分析師、雜誌、廠商和會議都在對此議論紛紛。對於這個IT業界最熱門的話題，企業關心的是如何以更加務實的方式邁向雲計算。而作爲開發者，我們更關注的是雲計算的基礎架構是什麼？以及其有什麼具體特點。 雲計算基礎架構本質：資源虛擬化的並行計算。[
目前計算領域正陷入於一場苦戰中，困境是待處理數據爆炸式增長與當今機器存儲能力和計算能力不足之間的矛盾。由於待處理數據越來越多，多到了很難在一臺或有限數目的存儲服務器內存儲，而且更無法由一臺或數目有限的計算服務器就能處理這樣的海量數據。因此，如何存儲並計算這些海量數據成爲了IT業界最熱門的話題之一。
雲計算是一種計算模式，代表了在某種程度上共享資源進行設計、開發、部署、運行應用，以及資源的可擴展收縮和對應用連續性的支持。目前大部分的雲計算基礎構架是由用戶終端向數據中心傳送可申請服務的網絡，以及建立在服務器上的不同層次的虛擬化技術組成的，使到人們可以在任何有提供網絡基礎設施的地方使用這些服務。因此，雲的基本概念是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再由多部服務器所組成的龐大系統搜索、計算分析之後將處理結果回傳給用戶終端。通過這項技術，遠程的服務供應商可以在數秒之內，達成處理數以千萬計甚至億計的信息，達到和“超級電腦”同樣強大效能的網絡服務。
你可能會說，這不正是分佈計算的概念嗎？沒錯，雲計算可以說是分佈計算、並行計算、網格計算等一脈相承的技術路線，甚至可以說它們的基因是相同的。但它們給人的外貌是不同的，它們在技術架構上是有差異的。簡單的說，雲計算是經過商業包裝的名詞，它爲分佈存儲和分佈計算找到了盈利模式。從概念上講，可把雲計算看成是“存儲雲+計算雲”的有機結合，即“雲計算=存儲雲+計算雲”。存儲雲的基礎技術是分佈存儲，而計算雲的基礎技術是分佈計算，更準確說在是並行計算。渠道社區$ \0 a8 x% q) o: z7 F4 f& b
因此，雲計算的基礎架構首先是要確保能實現並行計算。並行計算的作用是將大型的計算任務拆分，然後再派發到雲中的各個節點進行分佈式的並行計算，最終再將結果收集後統一處理。如果說雲計算是並行計算的昇華的話，那麼雲計算基礎架構更在另一個層面上有更大的進步：計算資源虛擬化。簡單的說，就是計算雲中的所有計算資源都被看成一個可分配和回收的計算資源池，用戶可根據自己的實際需求申請相應的計算資源。這種資源虛擬化得益於近來興起的虛擬機技術，採用虛擬機實現資源的虛擬化，避免了硬件異構的特性。即無論什麼樣的硬件機器攢在一起，其計算資源都可被量化到計算資源池中，並被動態分配和動態調整。動態調整是指不需要重新啓動系統就可調整資源大小，這是虛擬化技術的最大用處之一。這種虛擬化和我們在自己機器上安裝的虛擬機所採用的虛擬化技術大同小異，其不同之處在於個人用戶的使用模式是將一臺物理機器的資源虛擬化成多份，以使得其能同時啓動多個操作系統;而云中的虛擬化技術是將多個物理機器的資源虛擬化成一個大的資源池，讓用戶感覺是在使用一個巨大資源的機器。
從這個角度而言，雲計算不是新技術，而是新的資源利用模式。我們可以把雲計算看作是前代計算模式(比如網格計算、透明計算、效用計算)的階段升級。雲計算的實質是一種基礎架構管理的方法論，是把**的計算資源組成IT資源池，用於動態創建高度虛擬化的資源提供用戶使用。在雲計算環境下，所有的計算資源，比如說服務器能夠動態地從硬件基礎架構上增減，以適應工作任務的需求。所以，雲計算最真實完整的基礎架構是一個由多種產品和服務集成起來的端到端的解決方案。雲計算基礎架構的本質是通過整合、共享和動態的硬件設備供應來實現IT投資的利用率最大化。因此，計算雲的基礎架構的本質可以看成是：並行計算+資源虛擬化。
目前計算領域正陷入於一場苦戰中，困境是待處理數據爆炸式增長與當今機器存儲能力和計算能力不足之間的矛盾。由於待處理數據越來越多，多到了很難在一臺或有限數目的存儲服務器內存儲，而且更無法由一臺或數目有限的計算服務器就能處理這樣的海量數據。因此，如何存儲並計算這些海量數據成爲了IT業界最熱門的話題之一。
雲計算是一種計算模式，代表了在某種程度上共享資源進行設計、開發、部署、運行應用，以及資源的可擴展收縮和對應用連續性的支持。目前大部分的雲計算基礎構架是由用戶終端向數據中心傳送可申請服務的網絡，以及建立在服務器上的不同層次的虛擬化技術組成的，使到人們可以在任何有提供網絡基礎設施的地方使用這些服務。因此，雲的基本概念是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再由多部服務器所組成的龐大系統搜索、計算分析之後將處理結果回傳給用戶終端。通過這項技術，遠程的服務供應商可以在數秒之內，達成處理數以千萬計甚至億計的信息，達到和“超級電腦”同樣強大效能的網絡服務。
你可能會說，這不正是分佈計算的概念嗎？沒錯，雲計算可以說是分佈計算、並行計算、網格計算等一脈相承的技術路線，甚至可以說它們的基因是相同的。但它們給人的外貌是不同的，它們在技術架構上是有差異的。簡單的說，雲計算是經過商業包裝的名詞，它爲分佈存儲和分佈計算找到了盈利模式。從概念上講，可把雲計算看成是“存儲雲+計算雲”的有機結合，即“雲計算=存儲雲+計算雲”。存儲雲的基礎技術是分佈存儲，而計算雲的基礎技術是分佈計算，更準確說在是並行計算。渠道社區$ \0 a8 x% q) o: z7 F4 f& b
因此，雲計算的基礎架構首先是要確保能實現並行計算。並行計算的作用是將大型的計算任務拆分，然後再派發到雲中的各個節點進行分佈式的並行計算，最終再將結果收集後統一處理。如果說雲計算是並行計算的昇華的話，那麼雲計算基礎架構更在另一個層面上有更大的進步：計算資源虛擬化。簡單的說，就是計算雲中的所有計算資源都被看成一個可分配和回收的計算資源池，用戶可根據自己的實際需求申請相應的計算資源。這種資源虛擬化得益於近來興起的虛擬機技術，採用虛擬機實現資源的虛擬化，避免了硬件異構的特性。即無論什麼樣的硬件機器攢在一起，其計算資源都可被量化到計算資源池中，並被動態分配和動態調整。動態調整是指不需要重新啓動系統就可調整資源大小，這是虛擬化技術的最大用處之一。這種虛擬化和我們在自己機器上安裝的虛擬機所採用的虛擬化技術大同小異，其不同之處在於個人用戶的使用模式是將一臺物理機器的資源虛擬化成多份，以使得其能同時啓動多個操作系統;而云中的虛擬化技術是將多個物理機器的資源虛擬化成一個大的資源池，讓用戶感覺是在使用一個巨大資源的機器。
從這個角度而言，雲計算不是新技術，而是新的資源利用模式。我們可以把雲計算看作是前代計算模式(比如網格計算、透明計算、效用計算)的階段升級。雲計算的實質是一種基礎架構管理的方法論，是把**的計算資源組成IT資源池，用於動態創建高度虛擬化的資源提供用戶使用。在雲計算環境下，所有的計算資源，比如說服務器能夠動態地從硬件基礎架構上增減，以適應工作任務的需求。所以，雲計算最真實完整的基礎架構是一個由多種產品和服務集成起來的端到端的解決方案。雲計算基礎架構的本質是通過整合、共享和動態的硬件設備供應來實現IT投資的利用率最大化。因此，計算雲的基礎架構的本質可以看成是：並行計算+資源虛擬化。
2010年7月7日
高性能計算與雲計算不可調和？
GiladShainer一般每年會來中國兩次，第一次是參與到年初的IDF上，第二次則就是準備參與到中國高性能計算學術年會上來——身爲Mellanox高性能計算高級技術總監的他還是國際高性能計算專家諮詢委員會的主席，而他將國際高性能計算專家諮詢委員會亞洲研討會帶入了中國高性能計算學術年會中。
第二屆國際高性能計算諮詢委員會中國研討會今日在北京召開，雲計算和GPU毫無疑問成爲演講引人注目的關鍵詞。對那些認爲高性能計算擁有革命性的訪問和可用性的人來說——尤其是那些非技術性的研究人員，對於HPC是否適合公共雲計算確實存在着很大的問題。
大多數這種討論總會由於性能出現的時候而到來，讓我們面對它，對研究人員來說，大型的公共雲計算比如Amazon的EC2並沒有多少讓人覺得很好的功能來滿足一些的需求。當然按需使用性能是很好的，但是如果價格超過性能很多就不是很理想的事情了。
如果這就是我們在討論的大型公共雲計算，一個大多被用於科學計算和大型企業計算的形式，大概就類似於Amazon的EC2。當然，還有其他的一些公共雲計算供應商，爲了論證期間，亞馬遜的彈性雲計算所提供的往往是第一選擇。從啓動雲供應商巨頭，Amazon象徵着每個人都進入雲的可能性，它固有的問題集中體現在雲概念中，尤其涉及到高性能計算時。
就此問題，Gilad認爲，雲計算並不是個新鮮的概念，比如說各地的用戶都登陸位於德克薩斯州的一臺超級計算機登陸然後進行計算，這也是雲計算的一種形式。HPC在雲中可以降低成本，但是這需要雲本身有非常強大的自動分區能力，需要很快的網絡連接，需要很快就能向用戶提供所需的計算環境，HPC應該更多地被應用到雲中以提高效率。
就此問題，中國科學院計算技術研究所霍志剛博士則稱自己是一個雲計算的堅定支持者，但是他認爲類似於企業自身的雲可能會先形成規模，而且他認爲未來一定會是多種形式的雲，並非單純的公共雲。
在上半年全球超級計算機Top500榜單中，位於第一名的Cray的系統有兩萬個節點，而曙光的機器則只有五千個節點，Gilad認爲，在使用GPU進行加速的步驟上，中國人顯然走的很快。他表示，他相信以後最快的系統中都應該有GPU的身影，這樣可以提高系統的效率，也許未來GPU和CPU會坐在一個芯片上，這應該是個趨勢。
2010年10月28日
概念大PK：雲計算與高性能計算（HPC）
雲計算的易用性會影響傳統的HPC計算模式，傳統的排隊批處理方式很難實現按需即時響應的科學計算，On-demand的雲計算給HPC提供了更易交互的計算模式。如同幾年前用大衆化的PC服務器搭建集羣以及最近用GPU加速科學計算一樣，雲計算對於HPC也是一次模式轉變。
10月27日-30日，北京，國家會議中心，高性能計算領域的一場大戲即將上演。今年的全國高性能計算學術年會(HPC China 2010)由中國計算機學會高性能計算專業委員會主辦、中國軟件行業協會數學軟件分會協辦、北京市科學技術研究院和北京市計算中心承辦。
超級計算機和雲計算都是時下比較火的兩個概念，前者一般主要面向科學計算、工程模擬、動漫渲染等領域，大多屬於計算密集型的應用，後者則主要是在Web2.0、社交網絡、企業IT建設和信息化等領域，以數據密集型、I/O密集型應用爲主。雖然側重點有所不同，但這兩者之間是很有淵源的，比如兩者都使用了分佈式計算、網格計算、集羣、高密度計算等技術，也有一些領域在使用雲計算從事HPC類的應用，如北京市計算中心就在打造“北京工業雲”，爲中小企業提供產品設計模擬服務，浪潮和NVIDIA也在分別推各自的“渲染雲”方案。不過，HPC與雲計算也存在很多不同，比如HPC幾乎不用虛擬化技術，因爲一個應用就可能把多個機器的CPU都跑滿了，虛擬機沒什麼用武之地，而在企業私有云中，虛擬化卻是一個最基礎的技術。
在29號上午，中科院計算所所長李國傑院士作了主題爲《雲計算與HPC——兼談加強計算機系統研究的必要性》的演講。在演講中，他旁徵博引，就高性能計算與雲計算之間的關係談了許多觀點，現總結如下：
![概念大PK：雲計算與高性能計算（HPC）]( "概念大PK：雲計算與高性能計算（HPC）")
中科院計算所所長李國傑院士
超級計算機和雲計算都是時下比較火的兩個概念，前者一般主要面向科學計算、工程模擬、動漫渲染等領域，大多屬於計算密集型的應用，後者則主要是在Web2.0、社交網絡、企業IT建設和信息化等領域，以數據密集型、I/O密集型應用爲主。雖然側重點有所不同，但這兩者之間是很有淵源的，比如兩者都使用了分佈式計算、網格計算、集羣、高密度計算等技術，也有一些領域在使用雲計算從事HPC類的應用，如北京市計算中心就在打造“北京工業雲”，爲中小企業提供產品設計模擬服務，浪潮和NVIDIA也在分別推各自的“渲染雲”方案。不過，HPC與雲計算也存在很多不同，比如HPC幾乎不用虛擬化技術，因爲一個應用就可能把多個機器的CPU都跑滿了，虛擬機沒什麼用武之地，而在企業私有云中，虛擬化卻是一個最基礎的技術。
在29號上午，中科院計算所所長李國傑院士作了主題爲《雲計算與HPC——兼談加強計算機系統研究的必要性》的演講。在演講中，他旁徵博引，就高性能計算與雲計算之間的關係談了許多觀點，現總結如下：
雲計算是超級計算中的新發展
對高性能計算(HPC)而言，雲計算並不是一個新的概念。事實上，已經發展近30年的超級計算中心也是一種早期的雲計算模式：昂貴的計算資源集中部署，多個領域的用戶通過互聯網遠程使用計算服務並依據使用量支付費用。但這種HPC服務和當前所談論的雲計算又有着一些明顯的區別，如沒有充分採用虛擬化技術，沒有良好的用戶界面等。
雲計算將擴大HPC服務的範圍。隨着虛擬化即時的提高，通信延遲降低，緊耦合的計算將在更大範圍內具有吸引力。
特別是位於高端計算和桌面計算之間，存在衆多對高性能計算有潛在需求的用戶。調研表明，阻礙這些潛在用戶使用高性能計算的主要障礙包括：缺乏HPC人才，建設和運維的成本以及使用HPC應用的複雜度。而云計算正是應對這些挑戰的最佳途徑。
對高性能計算(HPC)而言，雲計算並不是一個新的概念。事實上，已經發展近30年的超級計算中心也是一種早期的雲計算模式：昂貴的計算資源集中部署，多個領域的用戶通過互聯網遠程使用計算服務並依據使用量支付費用。但這種HPC服務和當前所談論的雲計算又有着一些明顯的區別，如沒有充分採用虛擬化技術，沒有良好的用戶界面等。
雲計算將擴大HPC服務的範圍。隨着虛擬化即時的提高，通信延遲降低，緊耦合的計算將在更大範圍內具有吸引力。
特別是位於高端計算和桌面計算之間，存在衆多對高性能計算有潛在需求的用戶。調研表明，阻礙這些潛在用戶使用高性能計算的主要障礙包括：缺乏HPC人才，建設和運維的成本以及使用HPC應用的複雜度。而云計算正是應對這些挑戰的最佳途徑。
Dan Reed認爲，雲計算絕對不是爲特定目的構造的性能頂尖計算機的替代器。如果一種Petascale計算需要極低的任務間通信延遲，今天的雲計算肯定不適合。但是對於大多數使用較小規模設備的研究者，雲計算是有吸引力的替代器。
目前的雲模型並不支持頂尖的超級計算。動員Grand Challenge應用的人做雲計算就如同要說服駕駛F1賽車的人去乘公共汽車。HPC主要執行計算密集型的任務，CPU的利用率已經很高，因此虛擬化技術對於HPC的CPU利用率作用不大。虛擬化對計算密集型(如果數據能全部放進內存)應用的影響很小，而I/O密集型應用的性能則會有一定下降。
目前的雲計算做HPC效率較低
基於雲計算理念來構建超級計算中心，除了滿足傳統的或現有的HPC用戶需求外，更重要提創造並吸引衆多新領域的用戶。美國德州先進計算中心(TACC)的Edward Walker對Amazon EC2上HPC應用的性能表現進行了研究，應用選擇常用的基準測試程序NPB，測試結果表明：幾乎相同的硬件條件下，對OpenMP版本的8個測試程序EC2性能下降7%至21%不等，MPI版本性能則下降40%至1000%不等。
今天的數據中心與未來的HPC
雲計算的易用性會影響傳統的HPC計算模式，傳統的排隊批處理方式很難實現按需即時響應的科學計算，On-demand的雲計算給HPC提供了更易交互的計算模式。如同幾年前用大衆化的PC服務器搭建集羣以及最近用GPU加速科學計算一樣，雲計算對於HPC也是一次模式轉變。
構建百萬節點數量級的數據中心與今天構建Petascale(千萬億次)及今年後構建Exascale(億億次)的系統有許多相同的困難。Dan Reed認爲，他們就象是一對“雙胞胎”，面臨共同的挑戰包括：高速互連、存儲分層(包括Flash，PCM等)、異構多核處理器、系統可靠性和恢復能力、機櫃、冷卻、能耗效率和編程等等。今天Mega-datacenter的經驗將可用於未來的Exascale超級計算機設計。
雲平臺將最終取代HPC基礎設施
美國IT戰略科學家Dan Reed指出，雲計算使得計算和海量數據特別便宜，雲平臺最終將取代傳統的HPC基礎設施。如果主機(Mainframe)是跳棋，PC和Internet是象棋，雲計算則是要眼觀全局的圍棋。
另外，李國傑院士還特別指出，雖然雲計算是發展趨勢所在，但現在對雲計算基礎關鍵技術的研究還遠遠不夠，業界過於偏重虛擬化技術，而忽視了對計算機系統技術的研究。參考閱讀：李國傑:雲計算不可忽視計算機系統研究
2010年10月30日
高性能計算初步調研
目前數據中心不再是單純地增加服務器的數量和擴展機房的面積以滿足業務應用，而是逐步升級到對數據中心整體規劃和計算能力、效率的提升層面上來。數據中心需要強大計算能力作爲支撐，這樣才能滿足日益快速發展的業務需求。
高性能計算機集羣（HPC：High Performance Computing）在計算領域中得到了普遍應用。高性能計算(HPC)實際上就是集羣計算，集羣計算是多臺計算機的合作，並且並行工作，計算速度比一臺計算機的計算速度快的多。集羣計算機連在一起，可以提供如下功能：可擴展性、冗餘性、成本考慮。由於HPC系統能夠快速準確計算出結果，有助於解決商業和科學研究中面臨的問題，所以，HPC系統正在被越來越多的數據中心所採用。
值得注意的是，一個集羣中需要支持多種類型的數據流，在同一集羣中可同時採用不同類型的互聯網絡，而這些網絡又擁有各自的網絡協議，也就意味着，網絡性能和特性會有不同。目前，集羣計算、存儲區域網、網格、內部處理器通信等高端領域對高帶寬、高擴展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，人們對互連技術的興趣開始恢復，並且非常希望通過更迅速的互連技術，幫助數據中心降低總體運營成本，以實現高性能計算。
爲了滿足高性能計算需求，各種高速I/O標準相繼登場，Infiniband也憑藉其特有的優勢在市場中逐漸嶄露頭角。 Infiniband技術是一種開放標準的高速網絡互聯技術，Infiniband產品也是目前主流的高性能計算機互連設備之一。事實上，Infiniband是一種新型的總線結構，它可以消除目前阻礙服務器和存儲系統的瓶頸問題，是一種將服務器、網絡設備和存儲設備連接在一起的交換結構的I/O技術。
一.高性能計算與雲計算
“雲計算是一種計算模式，在這種模式下，任務被分配給可通過網絡獲得的連接、軟件和服務。這種服務器與連接的網絡統稱爲"雲"。雲規模的計算能賦予用戶超級計算機級別的能力。”
“雲計算支持應用在"雲"中某處運行，可以是您的電腦、公司或家庭網絡，甚或互聯網本身，但實際上用戶無需瞭解、也不用擔心應用運行的具體位置。”
許多人稱雲計算是HPCC的未來，究其原因，自然是因爲它用途廣泛、易於使用以及成本低廉（在大多數情況下），同時它還能爲用戶帶來超級計算機級別的性能。在覈實雲計算是否能帶給用戶超級計算機級別的性能之前，讓我們首先查看"應用綱要"，即應用成功運行所需的資源集。
雲計算應用綱要
a確保雲計算成功執行的一大要素是應用綱要，即應用運行所需的資源和作用方式。在廣義上，當前雲計算應用具備下列綱要：
b應用不會出現任何程度的並行，也未進行線程化。
c幾乎所有應用都不需要過多的內存帶寬和高CPU使用率。
d應用很少執行與其計算相關的IO，但也會存在例外，如實際上並未在“雲”上運行的數據庫。
e應用可進行自我修復。也就是說，一旦應用因故出現故障，它能輕鬆重啓或恢復，而不會對用戶的工作造成太大的中斷。
大多數日常應用（如製作演示幻燈、撰寫文檔和電子表單、暢玩遊戲等）都是串行應用，許多功能往往都放置在了桌面上（很可能採用AJAX）。Google等公司開發出了針對雲計算的存儲系統，但這些文件系統主要面向具備上述綱要的應用（例如hadoop）。由於您必須使用MapReduce來訪問和使用這些文件系統，因而它們在傳統HPC應用上的適用性會受到限制。
上述應用特徵同樣適用於許多企業應用。換而言之，它們是IO量極少的串行應用。當然也存在IO密集型企業應用，如數據庫等，但它們通常不會在總體應用排名中佔據優勢。
HPCC計算應用綱要
HPCC應用具備各種應用綱要。典型應用涉及並行計算，可能含有大量的IO。同時，串行（單節點）HPCC應用可能執行許多IO任務。因此，HPCC應用的綱要範圍十分廣。下面簡要列出了HPCC應用的幾項要素。
* 許多應用爲串行應用，其中各種進程之間存在一些數據通信。
* 有時進程間的數據傳輸量很少。例如：某CFD代碼
* 有時進程間的數據傳輸量很大。例如：WRF
* 有些應用爲串行應用或線程化應用，運行於單個節點上。例如：BLAST
* 有些串行或並行應用執行許多IO任務。例如：Ansys、Abaqus或Nastran等FEA代碼
* 有些串行或並行應用不執行許多IO任務。
* 有些應用能夠生成一個檢查點，即一份計算進程的快照。
* 一旦系統因故出現故障，它能夠從上一個檢查點重新啓動，而無需從一開始重啓。並非所有應用都具備這一功能。
只需查看應用綱要即可瞭解HPCC應用之間的巨大差異。顯然，HPCC應用具備與當前的雲計算應用不同的應用綱要。正因爲存在這個差異，一些 HPCC應用能夠適用於雲計算模式，而有些卻不適用。在下一章節，我們將探討哪些HPCC應用能夠在雲計算模式下運行良好，哪些不適用於雲計算模式且不可能適用於這一模式。
“雲計算是一種計算模式，在這種模式下，任務被分配給可通過網絡獲得的連接、軟件和服務。這種服務器與連接的網絡統稱爲"雲"。雲規模的計算能賦予用戶超級計算機級別的能力。”
“雲計算支持應用在"雲"中某處運行，可以是您的電腦、公司或家庭網絡，甚或互聯網本身，但實際上用戶無需瞭解、也不用擔心應用運行的具體位置。”
許多人稱雲計算是HPCC的未來，究其原因，自然是因爲它用途廣泛、易於使用以及成本低廉（在大多數情況下），同時它還能爲用戶帶來超級計算機級別的性能。在覈實雲計算是否能帶給用戶超級計算機級別的性能之前，讓我們首先查看"應用綱要"，即應用成功運行所需的資源集。
雲計算應用綱要
a確保雲計算成功執行的一大要素是應用綱要，即應用運行所需的資源和作用方式。在廣義上，當前雲計算應用具備下列綱要：
b應用不會出現任何程度的並行，也未進行線程化。
c幾乎所有應用都不需要過多的內存帶寬和高CPU使用率。
d應用很少執行與其計算相關的IO，但也會存在例外，如實際上並未在“雲”上運行的數據庫。
e應用可進行自我修復。也就是說，一旦應用因故出現故障，它能輕鬆重啓或恢復，而不會對用戶的工作造成太大的中斷。
大多數日常應用（如製作演示幻燈、撰寫文檔和電子表單、暢玩遊戲等）都是串行應用，許多功能往往都放置在了桌面上（很可能採用AJAX）。Google等公司開發出了針對雲計算的存儲系統，但這些文件系統主要面向具備上述綱要的應用（例如hadoop）。由於您必須使用MapReduce來訪問和使用這些文件系統，因而它們在傳統HPC應用上的適用性會受到限制。
上述應用特徵同樣適用於許多企業應用。換而言之，它們是IO量極少的串行應用。當然也存在IO密集型企業應用，如數據庫等，但它們通常不會在總體應用排名中佔據優勢。
HPCC計算應用綱要
HPCC應用具備各種應用綱要。典型應用涉及並行計算，可能含有大量的IO。同時，串行（單節點）HPCC應用可能執行許多IO任務。因此，HPCC應用的綱要範圍十分廣。下面簡要列出了HPCC應用的幾項要素。
* 許多應用爲串行應用，其中各種進程之間存在一些數據通信。
* 有時進程間的數據傳輸量很少。例如：某CFD代碼
* 有時進程間的數據傳輸量很大。例如：WRF
* 有些應用爲串行應用或線程化應用，運行於單個節點上。例如：BLAST
* 有些串行或並行應用執行許多IO任務。例如：Ansys、Abaqus或Nastran等FEA代碼
* 有些串行或並行應用不執行許多IO任務。
* 有些應用能夠生成一個檢查點，即一份計算進程的快照。
* 一旦系統因故出現故障，它能夠從上一個檢查點重新啓動，而無需從一開始重啓。並非所有應用都具備這一功能。
只需查看應用綱要即可瞭解HPCC應用之間的巨大差異。顯然，HPCC應用具備與當前的雲計算應用不同的應用綱要。正因爲存在這個差異，一些 HPCC應用能夠適用於雲計算模式，而有些卻不適用。在下一章節，我們將探討哪些HPCC應用能夠在雲計算模式下運行良好，哪些不適用於雲計算模式且不可能適用於這一模式。
雲計算中的HPCC應用
從目前來看，雲計算應用和HPCC應用似乎有很大不同，但仔細分析後不難發現，兩者之間仍然存在着一些共同點。某些HPCC應用並不依賴於節點間的通信，也不需要太多的IO（如BLAST）。這些特定應用的應用綱要能夠很好地與雲計算能力相契合。那麼，這樣的應用有哪些呢？事實上，現在還很難找到此類具體應用，因爲並行應用完全能在單個節點上正常運行。只要數據集能在無需交換的情況下置入節點，應用就可以在雲計算環境中運行。下面是一份有關HPCC 應用需求的速列清單，明確列出了在雲計算環境下應用和數據集之間應如何配合才能確保兩者的正常運行。
a應用必須運行於單個節點。數據集必須位於單個節點。
b非IO密集型應用。
c應用需快速運行，或創建一個檢查點（自我檢查點）。
從目前來看，雲計算應用和HPCC應用似乎有很大不同，但仔細分析後不難發現，兩者之間仍然存在着一些共同點。某些HPCC應用並不依賴於節點間的通信，也不需要太多的IO（如BLAST）。這些特定應用的應用綱要能夠很好地與雲計算能力相契合。那麼，這樣的應用有哪些呢？事實上，現在還很難找到此類具體應用，因爲並行應用完全能在單個節點上正常運行。只要數據集能在無需交換的情況下置入節點，應用就可以在雲計算環境中運行。下面是一份有關HPCC 應用需求的速列清單，明確列出了在雲計算環境下應用和數據集之間應如何配合才能確保兩者的正常運行。
a應用必須運行於單個節點。數據集必須位於單個節點。
b非IO密集型應用。
c應用需快速運行，或創建一個檢查點（自我檢查點）。
因此，適合雲計算環境的HPCC應用的應用綱要還是比較有限（但絕非完全沒有）。
另一類能夠正常運行於雲計算環境的應用是大型搜索應用。目前Google已經掌握了雲計算技術，但其它領域也同樣存在着搜索應用。例如，BLAST可用於搜索和比較生物序列信息。因此在搜索大型序列信息數據庫時，會生成和執行大量的搜索。而每次搜索都能在單一節點中執行（儘管已經出現並行版本的BLAST）。
在雲計算環境中運行必須考慮的最後一個問題是數據安全性。企業和實驗室一般利用HPCC應用來創造新產品或開展新研究，這無疑是一項優勢。但企業必須要確保數據的安全。如果您是在雲計算環境中運行專屬應用，就必須考慮數據安全性問題。到目前爲止，業界尚未對雲計算數據安全問題進行真正意義上的討論或關注。
雲計算=網格計算？
如果您在幾年前接觸過高性能計算（HPC），那麼您一定聽說過網格計算。由於網格計算和雲計算都能夠將位於不同位置的不同資源集中在一個系統中，因此兩者在理念上十分類似。網格計算能夠將不同任務提交至集中任務調度器進行分配，決定在何處運行應用，以達到在網格中運行HPC代碼的目的。應用既可以在本地運行，也可能在相距數千英里的其它系統上運行。這樣看來，網格計算和雲計算似乎並無區別。但實際上，兩者之間有本質的不同。
首先，網格計算能夠運行任何HPC代碼，即使其中包含大量的進程間通信或IO，而云計算就無法做到這一點。前者的優勢在於您能夠在網格中運行MPI 代碼，將位於不同地方的系統集中在一個系統中。但實際上，由於帶寬有限、系統間的延遲過高，應用並不能以這種方式運行。當前的網格更像是採取了元調度（meta-scheduling）的運行方式，即將任務提交至集中調度點進行分配，讓它決定應用運行的系統。因此，應用不會在多個系統上運行，而是在網格內的單一系統上運行。
網格計算和雲計算之間存在一個非常重要的差異：在雲計算環境下，應用中不能出現跨節點的進程間通信，IO量也不能太多；而網格計算則允許應用中包含大量的跨節點進程間通信，以及單一系統所能容納的IO量。
* 雲計算需使用串行應用（運行於單枚內核或單一節點），擁有限於單一節點的數據集，只進行少量IO操作，且無需數據保護。
* 運行HPCC應用需滿足一系列條件，如運行於單一節點（如BLAST）或運行於多個並行節點。此外，它們還可能產生大量IO，同時還必須考慮數據安全性問題。
* 網格計算能夠運行HPCC應用，用戶可以不知道這些應用的運行位置（類似於雲計算），但卻需要滿足HPCC應用的所有要求。
在對上述三類計算模式進行深入觀察後，我們可以很容易找出它們之間的差異，並選擇最能滿足您計算需求的模式。
觀察與展望
什麼是雲計算？雲計算如何影響HPCC？雲計算在很多方面類似於網格計算，但兩者在應用綱要上還是存在一些本質差異，這也限制了 HPCC應用對雲計算優勢的利用。雲計算只能對特定的HPCC領域產生影響，如那些無需（或僅需少量）進程間通信，且IO量非常有限的應用。如今，人們還在四處尋找雲計算的用武之地。如此看來，現在的雲計算技術尚處在"幼年時期"，您完全無需改變原有的HPCC策略。
但在另一方面，HPCC的定義也在不斷變化。在過去，HPCC一直以大型設備（比臺式機大）上的科學或工程計算應用，或計算量極大的數學或科學領域應用爲重心。但在最近一段時間內，已經有人開始嘗試在商務智能(BI)應用領域中實施HPCC，甚至連數據庫這樣的應用也開始出現在HPCC應用環境中，同時還有人考慮將HPCC擴展到遊戲或娛樂應用《第二人生》（Second Life）或《網絡創世紀》（Ultima Online等大型多人在線遊戲）等領域。即使是Google這樣的搜索引擎也在考慮之列。
隨着HPCC範疇的不斷擴大，雲計算也許將在HPCC中得以廣泛應用。但這也只是一種猜測。誰知道呢？也許這些應用終會“改名換姓”，將HPCC永遠束之高閣也說不定。
另一類能夠正常運行於雲計算環境的應用是大型搜索應用。目前Google已經掌握了雲計算技術，但其它領域也同樣存在着搜索應用。例如，BLAST可用於搜索和比較生物序列信息。因此在搜索大型序列信息數據庫時，會生成和執行大量的搜索。而每次搜索都能在單一節點中執行（儘管已經出現並行版本的BLAST）。
在雲計算環境中運行必須考慮的最後一個問題是數據安全性。企業和實驗室一般利用HPCC應用來創造新產品或開展新研究，這無疑是一項優勢。但企業必須要確保數據的安全。如果您是在雲計算環境中運行專屬應用，就必須考慮數據安全性問題。到目前爲止，業界尚未對雲計算數據安全問題進行真正意義上的討論或關注。
雲計算=網格計算？
如果您在幾年前接觸過高性能計算（HPC），那麼您一定聽說過網格計算。由於網格計算和雲計算都能夠將位於不同位置的不同資源集中在一個系統中，因此兩者在理念上十分類似。網格計算能夠將不同任務提交至集中任務調度器進行分配，決定在何處運行應用，以達到在網格中運行HPC代碼的目的。應用既可以在本地運行，也可能在相距數千英里的其它系統上運行。這樣看來，網格計算和雲計算似乎並無區別。但實際上，兩者之間有本質的不同。
首先，網格計算能夠運行任何HPC代碼，即使其中包含大量的進程間通信或IO，而云計算就無法做到這一點。前者的優勢在於您能夠在網格中運行MPI 代碼，將位於不同地方的系統集中在一個系統中。但實際上，由於帶寬有限、系統間的延遲過高，應用並不能以這種方式運行。當前的網格更像是採取了元調度（meta-scheduling）的運行方式，即將任務提交至集中調度點進行分配，讓它決定應用運行的系統。因此，應用不會在多個系統上運行，而是在網格內的單一系統上運行。
網格計算和雲計算之間存在一個非常重要的差異：在雲計算環境下，應用中不能出現跨節點的進程間通信，IO量也不能太多；而網格計算則允許應用中包含大量的跨節點進程間通信，以及單一系統所能容納的IO量。
* 雲計算需使用串行應用（運行於單枚內核或單一節點），擁有限於單一節點的數據集，只進行少量IO操作，且無需數據保護。
* 運行HPCC應用需滿足一系列條件，如運行於單一節點（如BLAST）或運行於多個並行節點。此外，它們還可能產生大量IO，同時還必須考慮數據安全性問題。
* 網格計算能夠運行HPCC應用，用戶可以不知道這些應用的運行位置（類似於雲計算），但卻需要滿足HPCC應用的所有要求。
在對上述三類計算模式進行深入觀察後，我們可以很容易找出它們之間的差異，並選擇最能滿足您計算需求的模式。
觀察與展望
什麼是雲計算？雲計算如何影響HPCC？雲計算在很多方面類似於網格計算，但兩者在應用綱要上還是存在一些本質差異，這也限制了 HPCC應用對雲計算優勢的利用。雲計算只能對特定的HPCC領域產生影響，如那些無需（或僅需少量）進程間通信，且IO量非常有限的應用。如今，人們還在四處尋找雲計算的用武之地。如此看來，現在的雲計算技術尚處在"幼年時期"，您完全無需改變原有的HPCC策略。
但在另一方面，HPCC的定義也在不斷變化。在過去，HPCC一直以大型設備（比臺式機大）上的科學或工程計算應用，或計算量極大的數學或科學領域應用爲重心。但在最近一段時間內，已經有人開始嘗試在商務智能(BI)應用領域中實施HPCC，甚至連數據庫這樣的應用也開始出現在HPCC應用環境中，同時還有人考慮將HPCC擴展到遊戲或娛樂應用《第二人生》（Second Life）或《網絡創世紀》（Ultima Online等大型多人在線遊戲）等領域。即使是Google這樣的搜索引擎也在考慮之列。
隨着HPCC範疇的不斷擴大，雲計算也許將在HPCC中得以廣泛應用。但這也只是一種猜測。誰知道呢？也許這些應用終會“改名換姓”，將HPCC永遠束之高閣也說不定。
二.2010年中國高性能計算機性能TOP10排行榜
|
序號 |
研製廠商/單位 |
型號 |
安裝地點 |
應用領域 |
CPU核數 |
Linpack值(Gflops) |
Linpack來源 |
峯值(Gflops) |
效率 |
|
1 |
國防科大 |
天河一號A/7168x2 Intel Hexa Core Xeon X5670 2.93GHz + 7168 Nvidia Tesla [email protected]+2048 Hex Core FT-1000@1GHz/私有高速網絡80Gbps |
國家超級計算天津中心 |
科學計算/工業 |
202752 |
2507000.00 |
Q |
4701000.00 |
0.533 |
|
2 |
曙光 |
曙光星雲/Dawning TC3600 Blade/Intel Hexa Core X5650 + Nvidia Tesla C2050 GPU/QDR Infiniband |
曙光公司 |
科學計算/工業 |
120640 |
1271000.00 |
C |
2984300.00 |
0.426 |
|
3 |
中科院過程所 |
Mole-8.5 Cluster/320x2 Intel QC Xeon E5520 2.26 Ghz + 320x6 Nvidia Tesla C2050/QDR Infiniband |
科學計算/粒子模擬 |
33120 |
207300.00 |
Q |
1138440.00 |
0.182 |
|
|
4 |
曙光 |
魔方/曙光5000A/1920x4 AMD QC Barcelona 1.9GHz/DDR Infiniband/WCCS+Linux |
上海超級計算中心 |
科學計算/工業 |
30720 |
180600.00 |
C |
233472.00 |
0.774 |
|
5 |
聯想 |
深騰7000/1240x2 Intel Xeon QC E5450 3.0GHz/140x4 Intel Xeon QC X7350 2.93GHz Infiniband 4xDDR |
科學計算 |
12160 |
106500.00 |
C |
145293.00 |
0.733 |
|
|
6 |
曙光 |
曙光星雲/Dawning TC3600 Blade/220x(2 Intel Hexa Core X5650 + 1 NVidia Tesla C2050)/QDR Infiniband |
成都超級計算中心（二期） |
科學計算/工業 |
5720 |
76350.38 |
C |
141389.60 |
0.540 |
|
7 |
曙光 |
生物專用機/Dawning TC3600 Blade/Intel Hexa Core X5650 + NVidia Tesla C2050 GPU/QDR Infiniband |
中國科學院計算技術研究所 |
生物信息學 |
4160 |
55527.55 |
C |
102828.80 |
0.540 |
|
8 |
IBM |
xSeries x3650M2 Cluster/Intel Xeon QC E55xx 2.53 Ghz/Giga-E |
工程公司 |
工業 |
8960 |
51200.00 |
T |
90680.00 |
0.565 |
|
9 |
HP |
Cluster Platform 3000 BL460c G6/Intel Xeon E5540 2.53 GHz/Giga-E |
中國電信 |
電信 |
7848 |
41880.00 |
C |
79420.00 |
0.527 |
|
10 |
IBM |
BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E |
網絡公司 |
工業/遊戲 |
7168 |
41270.00 |
T |
72540.00 |
0.569 |
三.中國2010年高性能計算重大事件
事件一：龍芯刀片研發成功
曙光公司於4月份宣佈研製成功龍芯刀片服務器，這標誌着國產處理器首次應用在了高密度刀片產品中，也是首次應用在高性能計算領域。正如龍芯總設計師胡偉武在曙光龍芯刀片服務器發佈現場所言，“我最早認爲龍芯是一個項目，後來認爲這是一個產品，現在才發現龍芯其實是一個產業鏈。”
龍芯系列處理器發展到現在即將有三大路線圖，分別是面向服務器和高性能計算領域的“大CPU”龍芯3A（龍芯刀片），未來曙光6000將採用的龍芯3B處理器（8核心）；另一條路線則是面向普通計算機和嵌入式應用的龍芯2系列處理器，已經發展到了龍芯2F和龍芯2G；最後一條產品線是面向移動和消費電子的嵌入式龍芯1系列處理器。
筆者認爲，相比國外主流x86廠商在製程和主頻工藝等領域瘋狂攀升性能，龍芯走了另一條路（MIPS架構），並且在多核心封裝方面具有x86所不具備的優勢。未來的曙光6000將成爲國內超算首次使用國產處理器的里程碑，意義空前。
龍芯系列處理器發展到現在即將有三大路線圖，分別是面向服務器和高性能計算領域的“大CPU”龍芯3A（龍芯刀片），未來曙光6000將採用的龍芯3B處理器（8核心）；另一條路線則是面向普通計算機和嵌入式應用的龍芯2系列處理器，已經發展到了龍芯2F和龍芯2G；最後一條產品線是面向移動和消費電子的嵌入式龍芯1系列處理器。
筆者認爲，相比國外主流x86廠商在製程和主頻工藝等領域瘋狂攀升性能，龍芯走了另一條路（MIPS架構），並且在多核心封裝方面具有x86所不具備的優勢。未來的曙光6000將成爲國內超算首次使用國產處理器的里程碑，意義空前。
事件二：“星雲”超算衝上Top500第二名
緊接着龍芯刀片的成功發佈，曙光在6月份發佈了基於模塊化刀片服務器TC3600的超級計算機“星雲”(詳見這裏)並衝上了六月份Top500榜單的第二名(詳見這裏)。“星雲”超級計算機採用的是曙光最新的SSI模塊化刀片服務器TC3600作爲節點(點這裏查看TC3600細節)，其CPU+GPU的混合架構在針對“華大基因”這類公司的微生物計算方面擁有明顯優勢。
事件三：英特爾推出“MIC”並行計算架構
英特爾發佈“MIC”衆覈計算架構的目的在於對未來計算市場的預期——會有一部分應用是高並行度的。而另一方面來自Nvidia和ATI的GPGPU在編程方面又存在各種困擾，因此英特爾推出了“MIC”衆核架構處理器，主要面向勘探、科研、金融、氣候模擬等高性能計算(HPC)領域。
筆者認爲，相比先期英特爾高調宣傳卻最終失敗的“Larrabee”x86架構GPU來看，“MIC”產品是其研究成果的繼任者，不過更加務實的着眼於專業領域。首先推出的“Knights Ferry”實驗型產品並不商用而是面向合作伙伴的開發和測試工具;未來將推出的22nm工藝“Knights Corner”纔是商用“MIC”產品，預計將集成超過50個衆核處理器。
筆者認爲，相比先期英特爾高調宣傳卻最終失敗的“Larrabee”x86架構GPU來看，“MIC”產品是其研究成果的繼任者，不過更加務實的着眼於專業領域。首先推出的“Knights Ferry”實驗型產品並不商用而是面向合作伙伴的開發和測試工具;未來將推出的22nm工藝“Knights Corner”纔是商用“MIC”產品，預計將集成超過50個衆核處理器。
事件四：“天河一號”爆冷奪Top500桂冠
2010年10月末的全國高性能計算年會上，“天河一號”以2500萬億次的計算性能再次獲得國內超算第一名的成績(詳見這裏)，並且在接下來的Top500排行中成爲世界第一(詳見這裏)。
國防科大自主研發的“天河一號”自去年以峯值性能1206萬億次奪得國內TOP100第一名以來(詳見這裏)，經過對CPU和Tesla計算卡的升級以及今年新加入的國產飛騰系列處理器(詳見這裏)，使其計算性能猛增到2507萬億次。
下面是2010年在高性能計算領域發生的主要事件時間表：
4月23日，曙光宣佈成功研製出基於國產龍芯處理器的高性能刀片服務器CB50-A。
5月4日，曙光推出第二款個人高性能計算機“PHPC200”，運算速度達到2500萬億次。
5月31日，全球Top500排行榜出爐(2010年年中)，曙光“星雲”超級計算機位列第二。
5月31日，英特爾宣佈將推出集成衆核架構(MIC)產品，首批樣品代號Knights Ferry，僅用於研究。
6月2日，Cray宣佈推出基於AMD十二核皓龍6100的超級計算機“XE6”。
6月7日，“2010年中國高效能計算應用高峯論壇”將在北京舉行，來自中國軟件行業協會數學軟件分會、中國科學院過程工程研究所、北京大學、中國科學院軟件研究所、Nvidia、Intel、Mellanox的多位專家代表將就“GPU在高性能計算領域裏的最新應用發展與挑戰”展開演講與討論
6月25日，英特爾2010年高性能計算研討會舉行，主題“石油勘探挑戰高性能計算”。
7月26日，微軟發佈新一代高性能計算(HPC)集羣專用系統“Windows HPC Server 2008 R2 Suite”。
9月28日，浪潮承接山東信息通信技術研究院項目，開建“神威藍光”千萬億次超級計算機。
10月27日~30日，2010年全國高性能計算學術年會在國家會議中心召開，其間公佈了中國Top100超級計算排行榜，國防科大的“天河一號”以2500萬億次速度榮獲第一，曙光星雲名列第二。
11月13~19日，國際超級計算大會在美國舉行，其間發佈了全球高性能計算機Top500排行榜，中國“天河一號”名列第一，曙光星雲名列第三。
11月24日，世界超算Green500，能效排行榜公佈，天河一號排名第11位。
國防科大自主研發的“天河一號”自去年以峯值性能1206萬億次奪得國內TOP100第一名以來(詳見這裏)，經過對CPU和Tesla計算卡的升級以及今年新加入的國產飛騰系列處理器(詳見這裏)，使其計算性能猛增到2507萬億次。
下面是2010年在高性能計算領域發生的主要事件時間表：
4月23日，曙光宣佈成功研製出基於國產龍芯處理器的高性能刀片服務器CB50-A。
5月4日，曙光推出第二款個人高性能計算機“PHPC200”，運算速度達到2500萬億次。
5月31日，全球Top500排行榜出爐(2010年年中)，曙光“星雲”超級計算機位列第二。
5月31日，英特爾宣佈將推出集成衆核架構(MIC)產品，首批樣品代號Knights Ferry，僅用於研究。
6月2日，Cray宣佈推出基於AMD十二核皓龍6100的超級計算機“XE6”。
6月7日，“2010年中國高效能計算應用高峯論壇”將在北京舉行，來自中國軟件行業協會數學軟件分會、中國科學院過程工程研究所、北京大學、中國科學院軟件研究所、Nvidia、Intel、Mellanox的多位專家代表將就“GPU在高性能計算領域裏的最新應用發展與挑戰”展開演講與討論
6月25日，英特爾2010年高性能計算研討會舉行，主題“石油勘探挑戰高性能計算”。
7月26日，微軟發佈新一代高性能計算(HPC)集羣專用系統“Windows HPC Server 2008 R2 Suite”。
9月28日，浪潮承接山東信息通信技術研究院項目，開建“神威藍光”千萬億次超級計算機。
10月27日~30日，2010年全國高性能計算學術年會在國家會議中心召開，其間公佈了中國Top100超級計算排行榜，國防科大的“天河一號”以2500萬億次速度榮獲第一，曙光星雲名列第二。
11月13~19日，國際超級計算大會在美國舉行，其間發佈了全球高性能計算機Top500排行榜，中國“天河一號”名列第一，曙光星雲名列第三。
11月24日，世界超算Green500，能效排行榜公佈，天河一號排名第11位。
四.國家政策相關
1. 十二五：我國高性能計算重在提高“軟實力”
【賽迪網訊】不久前公佈的全球高性能計算TOP 500的排名，中國“天河1號”超越了所有對手位居榜首。應該說，“十一五”期間，中國在高性能計算領域，尤其是系統硬件方面取得了許多重要突破，但是和國外高性能計算實力相比較，我們的HPC（高性能計算）在軟件應用、核心技術、系統架構的創新上卻有相當大的差距，需要在“十二五”期間，補齊這些短板，讓中國高性能計算的“軟”實力也“硬”起來。
首先要加大對HPC軟件應用發展的投入力度。在國外，高性能計算系統的發展，往往是因爲需要解決某些具體的應用需求難點而在計算層面進行創新，從而帶動了系統硬件不斷升級。是先“軟”後“硬”，或者“軟”“硬”同步。但是我們的HPC發展卻輕“軟”重“硬”，其結果是儘管我們的計算速度上去了，但是所跑的HPC軟件都是國外的。很多關鍵領域、高端領域的HPC應用軟件，國外限制對中國出口。所以未來要進一步推動HPC的普及化，讓它能夠爲中國的產業升級、爲大飛機、爲航天航空、爲氣象預報、災害預警等釋放更多能量與價值，就必須大力發展HPC的應用與軟件。
需要改變對高性能計算評估體系。如果想要在“十二五”期間大力發展軟件與應用，就需要修訂我們對高性能計算髮展的考覈與考評的指標，制定不同應用領域的評估指標，改變重硬件而輕算法的局面。比如在氣象領域，需要用清晰度、分辨率等這些傾向於應用的指標來考覈HPC的成果。在每一個重要的HPC應用領域，都制定相應指標體系，鼓勵HPC產學研機構去參與這些領域的競標，展開HPC的應用競賽，形成重視HPC軟件與應用的產業氛圍，只有這樣，我們的HPC應用軟件才能發展起來。
需要在覈心技術、核心架構上進行創新。儘管中國的HPC拿到了全球HPC TOP 500的好名次，但是我們所採用的系統架構、所採用的CPU+GPU模式，其核心技術都來自於國外企業，某種意義上看我們只是在別人已經設計好的藍圖上將之發揚光大罷了。而歐美等國已經開始佈局5年甚至是10年之後的HPC，如果我們依然停留在別人的架構與核心技術之下，未來，我們的HPC將不僅僅是落後幾年的問題而是落後一代的問題。所以，我們需要在“十二五”期間加大在HPC核心技術、核心架構上的創新，尤其是對特殊的應用進行針對性設計與優化，將有機會帶來中國HPC核心技術的突破。
（1）曙光公司總裁歷軍 ：高性能計算需要普及
在“十二五”期間，國內的高性能計算企業應將應用的重點放在引導用戶瞭解高性能計算，用巧妙的方式引發用戶瞭解高性能計算的優勢和自身的需求。
高性能計算的集中化趨勢是歷史必然。而在雲計算等新模式下，高性能計算的發展仍將注重高性能計算系統的研究與發展。以曙光爲例，曙光在研究新技術和新產品的同時，是帶着引導用戶使用與滿足用戶需求的目的的。在未來，高性能計算需要推動普及化應用，只有應用需求與產業化技術得到有效提升，中國高性能計算的發展才能真正做大做強，做到科技與民生的實際性結合，中國高性能計算才能走出屬於自己的中國化特色。
（2）浪潮高性能服務器產品部總經理劉軍 ：調整評估體系
國家在“十一五”期間對高性能計算系統的巨大投入，使我們在全球HPC TOP500的排名已經做到了NO.1，在硬件系統上取得了很好成績，也引起了美國與日本等國的關注。
但從另一方面看，我們的HPC在軟件和應用方面的差距很大。所以在“十二五”期間，中國發展高性能計算要補齊我們在應用軟件上的短板，同時要在覈心技術與系統架構上有屬於自己的創新。要在這兩方面突破，在發展思路上就要應對挑戰，在對高性能計算的成果評估體系上就需要將原來關注速度等指標調整爲關注應用，比如說在氣象領域要達到多少分辨率，在算法上取得哪些突破，在應用上擴展到多少核等等。
（3）北京市公共計算重點實驗室主任曾宇 ：應用成爲普及關鍵
高性能計算的普及，應用是關鍵。這包括兩個層面的含義，一是高性能計算平臺、應用軟件、相關算法、服務團隊應該能滿足應用的需求，二是高性能計算平臺其服務模式、服務收費應該能讓應用快捷、方便、廉價、透明。國家應該基於區域經濟結構的特點，統一規劃。
無論是雲計算還是高性能計算，服務的模式和服務的對象是規劃其產業發展的關鍵。雲計算本身針對應用需求的特徵提供商品化的計算能力和數據處理服務能力，以公共雲計算平臺推動領域計算服務、領域數據處理服務，推動區域社會經濟建設和行業發展，培育區域社會經濟發展新的經濟增長點，從而推動民族傳統產業和新興產業的自主創新發展是可行的方案。
（4）清華大學計算機系副主任、教授陳文光：加大HPC推廣力度
首先還是要加大推動應用的力度。中國在高性能計算硬件方面的計算速度已經上去，但是在應用上與國外的差距還是比較大。應用的發展需要國家長期支持。發展HPC應用，我們需要以科研爲契機，打通人才教育生態鏈，做好人才培養的儲備，爲中國的產業升級做好支撐。其次是要加強硬件的核心技術研發。目前雖然我們的HPC計算速度上去了，但是核心的CPU、GPU還是採用國外的，我們需要研發自己的CPU和GPU，需要在系統結構上有所創新。需要針對特殊的應用，進行處理器與架構等方面的定製，形成我們在高性能計算領域的競爭力。
2.高標委召開會議，HPC標準建立
2007年3月，在曙光的倡議發起下，中國電子工業標準化技術協會成立了高性能計算機標準工作委員會，以刀片服務器爲突破口，試圖構建高性能計算機產品及應用的相關技術標準和規範。而在去年7月底，由英特爾主導的服務器系統架構組織(ServerSystemsInfrastructure，簡稱SSI)也聯合全球40多家服務器廠商宣佈推出開放的刀片服務器平臺規範。
經過近一年的努力，通過這兩大組織在SSI規範及刀片標準開發過程中進行的廣泛接觸，在2008年達成了共識。針對此次合作，高標委主任歷軍表示，高標委會在一定程度上同SSI展開合作，爭取在物理結構、機械尺寸、電氣信號排列等基礎架構方面做到可互換，他說：“未來國內系統廠商生產的刀片服務器可以插入符合SSI規範的刀片機箱中去。”
中電標協高性能計算機標準工作委員會(以下簡稱“高標委”)第六次工作會議於2010年2月6日在廈門成功召開。會議期間，高標委與由國際服務器標準制定組織，即服務器系統架構組織(Server System Infrastructure，簡稱SSI)簽署合作備忘錄，就共同推進高性能計算機刀片式服務器標準化進程達成協議和共識。
1. 十二五：我國高性能計算重在提高“軟實力”
【賽迪網訊】不久前公佈的全球高性能計算TOP 500的排名，中國“天河1號”超越了所有對手位居榜首。應該說，“十一五”期間，中國在高性能計算領域，尤其是系統硬件方面取得了許多重要突破，但是和國外高性能計算實力相比較，我們的HPC（高性能計算）在軟件應用、核心技術、系統架構的創新上卻有相當大的差距，需要在“十二五”期間，補齊這些短板，讓中國高性能計算的“軟”實力也“硬”起來。
首先要加大對HPC軟件應用發展的投入力度。在國外，高性能計算系統的發展，往往是因爲需要解決某些具體的應用需求難點而在計算層面進行創新，從而帶動了系統硬件不斷升級。是先“軟”後“硬”，或者“軟”“硬”同步。但是我們的HPC發展卻輕“軟”重“硬”，其結果是儘管我們的計算速度上去了，但是所跑的HPC軟件都是國外的。很多關鍵領域、高端領域的HPC應用軟件，國外限制對中國出口。所以未來要進一步推動HPC的普及化，讓它能夠爲中國的產業升級、爲大飛機、爲航天航空、爲氣象預報、災害預警等釋放更多能量與價值，就必須大力發展HPC的應用與軟件。
需要改變對高性能計算評估體系。如果想要在“十二五”期間大力發展軟件與應用，就需要修訂我們對高性能計算髮展的考覈與考評的指標，制定不同應用領域的評估指標，改變重硬件而輕算法的局面。比如在氣象領域，需要用清晰度、分辨率等這些傾向於應用的指標來考覈HPC的成果。在每一個重要的HPC應用領域，都制定相應指標體系，鼓勵HPC產學研機構去參與這些領域的競標，展開HPC的應用競賽，形成重視HPC軟件與應用的產業氛圍，只有這樣，我們的HPC應用軟件才能發展起來。
需要在覈心技術、核心架構上進行創新。儘管中國的HPC拿到了全球HPC TOP 500的好名次，但是我們所採用的系統架構、所採用的CPU+GPU模式，其核心技術都來自於國外企業，某種意義上看我們只是在別人已經設計好的藍圖上將之發揚光大罷了。而歐美等國已經開始佈局5年甚至是10年之後的HPC，如果我們依然停留在別人的架構與核心技術之下，未來，我們的HPC將不僅僅是落後幾年的問題而是落後一代的問題。所以，我們需要在“十二五”期間加大在HPC核心技術、核心架構上的創新，尤其是對特殊的應用進行針對性設計與優化，將有機會帶來中國HPC核心技術的突破。
（1）曙光公司總裁歷軍 ：高性能計算需要普及
在“十二五”期間，國內的高性能計算企業應將應用的重點放在引導用戶瞭解高性能計算，用巧妙的方式引發用戶瞭解高性能計算的優勢和自身的需求。
高性能計算的集中化趨勢是歷史必然。而在雲計算等新模式下，高性能計算的發展仍將注重高性能計算系統的研究與發展。以曙光爲例，曙光在研究新技術和新產品的同時，是帶着引導用戶使用與滿足用戶需求的目的的。在未來，高性能計算需要推動普及化應用，只有應用需求與產業化技術得到有效提升，中國高性能計算的發展才能真正做大做強，做到科技與民生的實際性結合，中國高性能計算才能走出屬於自己的中國化特色。
（2）浪潮高性能服務器產品部總經理劉軍 ：調整評估體系
國家在“十一五”期間對高性能計算系統的巨大投入，使我們在全球HPC TOP500的排名已經做到了NO.1，在硬件系統上取得了很好成績，也引起了美國與日本等國的關注。
但從另一方面看，我們的HPC在軟件和應用方面的差距很大。所以在“十二五”期間，中國發展高性能計算要補齊我們在應用軟件上的短板，同時要在覈心技術與系統架構上有屬於自己的創新。要在這兩方面突破，在發展思路上就要應對挑戰，在對高性能計算的成果評估體系上就需要將原來關注速度等指標調整爲關注應用，比如說在氣象領域要達到多少分辨率，在算法上取得哪些突破，在應用上擴展到多少核等等。
（3）北京市公共計算重點實驗室主任曾宇 ：應用成爲普及關鍵
高性能計算的普及，應用是關鍵。這包括兩個層面的含義，一是高性能計算平臺、應用軟件、相關算法、服務團隊應該能滿足應用的需求，二是高性能計算平臺其服務模式、服務收費應該能讓應用快捷、方便、廉價、透明。國家應該基於區域經濟結構的特點，統一規劃。
無論是雲計算還是高性能計算，服務的模式和服務的對象是規劃其產業發展的關鍵。雲計算本身針對應用需求的特徵提供商品化的計算能力和數據處理服務能力，以公共雲計算平臺推動領域計算服務、領域數據處理服務，推動區域社會經濟建設和行業發展，培育區域社會經濟發展新的經濟增長點，從而推動民族傳統產業和新興產業的自主創新發展是可行的方案。
（4）清華大學計算機系副主任、教授陳文光：加大HPC推廣力度
首先還是要加大推動應用的力度。中國在高性能計算硬件方面的計算速度已經上去，但是在應用上與國外的差距還是比較大。應用的發展需要國家長期支持。發展HPC應用，我們需要以科研爲契機，打通人才教育生態鏈，做好人才培養的儲備，爲中國的產業升級做好支撐。其次是要加強硬件的核心技術研發。目前雖然我們的HPC計算速度上去了，但是核心的CPU、GPU還是採用國外的，我們需要研發自己的CPU和GPU，需要在系統結構上有所創新。需要針對特殊的應用，進行處理器與架構等方面的定製，形成我們在高性能計算領域的競爭力。
2.高標委召開會議，HPC標準建立
2007年3月，在曙光的倡議發起下，中國電子工業標準化技術協會成立了高性能計算機標準工作委員會，以刀片服務器爲突破口，試圖構建高性能計算機產品及應用的相關技術標準和規範。而在去年7月底，由英特爾主導的服務器系統架構組織(ServerSystemsInfrastructure，簡稱SSI)也聯合全球40多家服務器廠商宣佈推出開放的刀片服務器平臺規範。
經過近一年的努力，通過這兩大組織在SSI規範及刀片標準開發過程中進行的廣泛接觸，在2008年達成了共識。針對此次合作，高標委主任歷軍表示，高標委會在一定程度上同SSI展開合作，爭取在物理結構、機械尺寸、電氣信號排列等基礎架構方面做到可互換，他說：“未來國內系統廠商生產的刀片服務器可以插入符合SSI規範的刀片機箱中去。”
中電標協高性能計算機標準工作委員會(以下簡稱“高標委”)第六次工作會議於2010年2月6日在廈門成功召開。會議期間，高標委與由國際服務器標準制定組織，即服務器系統架構組織(Server System Infrastructure，簡稱SSI)簽署合作備忘錄，就共同推進高性能計算機刀片式服務器標準化進程達成協議和共識。
分享 ![]()
![]()
![]()
![]()
![]()
0
頂
加載中，請稍候......