1 概述
1.1 文檔內容
本文檔爲某企業私有云技術路線設計文檔。
1.2 背景描述
1.2.1 某企業私有云業務線規劃
近些年由於國內IDC市場發展迅速，某企業從戰略層面考慮，建造了自己的高等級數據中心，企業的決策者從未來發展的角度考慮，單純做數據中心場地銷售在現有激烈的市場競爭的環境中很難長時間利於不敗之地。因此作爲企業未來發展的方向，需要構建自己企業私有云增加自身商業附加值。根據策略設計，企業高等級數據中心將主要面向企業客戶提供企業私有云服務。
1.2.2 私有云業務驅動力
1.2.2.1 業務目標客戶
根據第三方機構統計：
-
當前在製造、政府、互聯網（Web 2.0）、教育、金融市場規模較大，預計到2017年以上行業增長迅速、仍將是市場需求規模最大的行業。
-
製造業主要使用雲應用如協作類應用或一些CRM類的應用，這些應用不是某企業的強項，但是可以與這些應用開發商合作爲其提供私有云平臺。
-
Web2.0指互聯網公司如移動遊戲，在線遊戲，電子商務企業，其需要大量帶寬支撐業務運作，故也不是某企業的優勢所在。
-
中小金融、政府爲大需求客戶，其對雲的要求是安全性和可靠性，即企業託管私有云。
某企業具有較強的項目經驗和客戶關係的行業：
-
電信
-
政府
-
金融
-
教育
-
1.2.2.2 目標客戶的業務應用特性
由於某企業以後主要面向企業提供私有云服務，這與面向一般消費者有較大的不同，對服務保障提出了較高的要求，因此在銷售雲資源時，綁定銷售諸如安全、監控、報告等增值服務，並儘可能作爲標準服務的一部分。
針對企業級客戶的需求特徵，某企業私有云的應具有如下特徵：
某企業的私有云將運行企業級工作負載。
1.2.3 私有云總體目標
在基於高等級數據中心的私有云層面，首先是雲計算數據中心的建設，雲計算數據中心相比傳統數據中心，單系統的應用數據中心，由於具備虛擬化、按需分配等與生俱來的特點，就具備當系統規模達到一定程度時，在系統建設性價比方面表現出很大的優勢。目前來說，雲計算數據中心的建設所需要的軟硬件技術和產品，已經可以支撐成熟商用，所以在雲服務架構下的建設方案中，規劃和建設一個雲計算數據中心，是可行的選擇。另外在基礎設施層面，按照雲計算標準建設的基礎設施管理、運維管理、安全管理等技術，會給某企業業務擴展和運維中帶來相當的收益。
根據某企業私有云的業務發展規劃，將基於雲計算及相關技術打造高效、綠色、節能和自動化管理的雲平臺。並基於雲平臺提供企業私有云託管服務。
2 技術選型分析
2.1 選型原則
作爲IDC運營，需要考慮到經濟性和實用性，某企業私有管理平臺應選用最佳的性價比軟件部署方案，現階段在滿足試點要求指標的前提下，採用免費的軟件方案，得到最佳的投入產出比。因此考慮某企業私有云管理平臺將基於開源雲平臺開發定製，目前業界的開源雲平臺主要有CloudStack，Eucalyptus，OpenStack，OpenNebula等，平臺的技術選型將遵循以下原則。
a) 社區規模是對開源社區運作情況的綜合評定，判定標準主要包括社區主題數量、社區討論帖數量、社區參與人數、社區總人數，開發者人數和貢獻機構數量等。社區通過討論主題和討論帖子進行一切事物的討論包括髮展方向，版本更新，功能增加，錯誤處理，開發討論等等，數量直接說明項目發展情況；社區人數參與人數爲參與設計討論的人員數量；社區開發者人數與貢獻機構數量決定了項目發展速度、質量。綜合評定以上信息可以較好的比較社區規模，社區規模越大，越有利於項目健康、高效、民主的發展。
b) 市場使用規模表現了項目至今爲止的市場接受程度。開源雲平臺已經擁有的用戶與使用案例在一定程度上說明了平臺的整體能力。另一個層面，分析用戶的領域、地域的使用情況，可以一定程度說明開源雲計算平臺的普適性。
c) 開放性是開源雲平臺相對於企業雲產品的最大特點。開放程度越好的開源雲平臺更易於用戶對雲平臺的瞭解與使用。具體開放性的比較可以通過：開源License、開源雲平臺提供的可編程接口（API）、開源雲平臺文檔的詳細程度。
d) 可用性與可靠性是開源雲平臺的基礎。開源雲平臺的整體架構設計決定了雲平臺自身的特性與可用功能，也決定了平臺可使用的高可用方案，決定了開源雲平臺自身的可靠性。通過比較開源雲平臺的整體架構以及官方推薦的高可用方案，評價四個開源雲平臺的可用性與可靠性。
e) 功能性的比較主要通過對Hypervisor的支持情況、存儲的支持情況、網絡的支持情況、虛擬資源分配管理與虛擬資源計量的分析。私有云需要的基本功能，各個平臺都有實現，但功能的具體實現程度與新興技術的支持程度，四個開源雲平臺還存在一定差異。
f) 可擴展性是開源雲平臺定製化程度的體現。雖然開源雲平臺源代碼完全開源，但二次開發也並非將原有平臺底層邏輯重新實現，而是通過平臺提供的接口或是以插件的形式實現功能上的擴展與增強。另一方面，私有云擴展能力也包括與公有云協作實現混合雲的方案，爲此，分析四個開源雲平臺的接口協議、插件模式和與公有云協作方案，實現可擴展性的比較。
g) 涉及到基於開源雲平臺的客戶化，二次開發成本是一定會考慮到的一個方面。通過分析四個開源雲平臺的團隊再開發難度、再開發所需要的技能與二次開發提供商，比較開源雲平臺的二次開發成本。
h) 開源雲平臺會持續推進併發布新的版本，版本發佈週期一定程度上影響用戶的使用。若版本更新太快會導致用戶系統更新過於頻繁，若版本更新太慢會導致新功能的提供延遲，根據比較四個開源雲平臺以往的版本發佈週期，來預測評估社區對新版本發佈的能力。
i) 與需求的適應度，選用的開源雲平臺應該最大程度的適應某企業私有云管理平臺的需求，並結合某企業現有的技術實力與團隊技能，降低後期平臺的開發、維護工作量，以避免平臺建設的投入過大導致收益下降。
2.2 開源雲平臺的比較一覽
2.3 與需求的適應度
**
選用的開源雲平臺應該最大程度的適應某企業私有云平臺的需求，並結合某企業現有的技術實力與團隊技能，降低後期平臺的開發、維護工作量，以避免平臺建設的投入過大導致收益下降。從需求的適應度來看，依據某企業在OpenStack領域的開發與服務技能，結合其整體功能完備性，架構優越性，更適用與作爲某企業私有云平臺的構建技術。此外，當前的OpenStack版本已經開始通過ironic模塊支持對金屬裸機的自動化部署，並且在不斷髮展與完善中，更符合某企業私有云服務開發的需求，節省開發工作量與投資成本。
**2.4 開源雲平臺的選型結論
OpenStack藉助着強大的社區規模與大量的貢獻者規模，保持着高速發展，在開源基礎設施雲領域表現搶眼，並漸漸形成生態系統。在吸引到IBM、Intel等業界巨頭的支持後，原本穩定性的問題的得到了很好的解決，整體前景較好。
CloudStack曾經爲商業軟件，總體功能較爲齊全，系統相對穩定，近期由於OpenStack社區的高速發展，關注度下降的同時存在用戶向OpenStack流失的情況。
Eucalyptus作爲AWS的私有云項目，設計與功能大多沿用AWS，長期使用AWS的用戶上手容易，並且與AWS公有云有很好的兼容性。但擴展性相對其它平臺比價一般，用戶相對單一，社區發展較爲緩慢。
OpenNebula目標爲輕便簡單的企業雲，所實現的功能基本涵蓋簡單的公有云，私有云及混合雲，但社區規模較小、用戶羣、貢獻者規模都較小，整體競爭力較低。
各個平臺設計架構上的不同，每個平臺有着各自的特點與相對固定的用戶。對於某企業建立雲化數據中心提供私有云服務而言，OpenStack從某企業內部技能，平臺架構，功能匹配度，二次開發量及維護工作方面，相對於其他三種開源雲平臺優勢明顯。我們建議中心基於OpenStack建設開發測試環境私有云平臺。
3 落地實施
3.1 分步建設策略
某企業雲服務產品體系總體建設策略可歸納爲“一個基礎，兩個突破”：
一個基礎
藉助於私有云技術，建立集中的基礎運行平臺，提供基於彈性計算資源供給的能力，有效提升系統使用率及自動化管理程度，降低建設運營成本。
** 突破一**
未來可以推出PaaS，突破傳統的應用開發模式PaaS，在雲平臺上實現應基於模式的平臺部署服務，參與乃至引市場在PaaS方面的建設。
** 突破二**
未來考慮整合SaaS，向行業突破整合SaaS應用，一方面利用優質的應用基礎推動雲平臺軟件即服務的市場化，另一方面利用優質客戶資源吸收區域內專業應用，實現應用數量的規模發展，以及由通用應用領域向行業領域挺進。
3.2 落地實現
根據分步建設規劃策略，我們對實現可管理成熟度供應商能力的落地實現進行分解，並結合某企業業務規劃戰略，對私有云服務平臺的落地實施提供建議。
隨着某企業數據中心的建設進程，對新數據中心私有云服務平臺建設也將隨之開展，而第一階段的定位實現可管理的私有云服務平臺落地實施。
** 階段性建設目標**
-
完成數據中心首個雲資源池（PoD）的構建；
-
完成雲化數據中心的基礎設施與管理框架的構建；
-
實現雲管理平臺基本的資源管理能力和自動化部署能力；
-
完成對雲化數據中心資源與雲管理平臺的基礎管理控制功能；
-
實現雲管理平臺基本業務功能，包括門戶，客戶管理，服務產品與目錄管理，服務請求處理；
** 實施範圍**
在新數據中心中實現第一個PoD的建設，並構建私有云管理平臺基礎功能，提供基本的雲服務產品的對外運營。
實施時間段定義
-
新數據中心基礎架構建設完成後半年。
4 私有云平臺測試要點
4.1 私有云管理平臺
4.1.1 業務功能
根據業務功能要求對私有云管理平臺的各項業務功能進行測試，測試依據用戶使用場景進行，可選取關鍵的業務場景進行測試，包括客戶管理，服務請求管理，用戶管理，訂單管理，計費管理，服務目錄與產品管理資源管理等內容。同時關注友好性和可服務性。
4.1.2 部署能力
驗證雲私有云管理平臺的部署能力與規模承載能力，測試對資源的交付與部署的效率。主要關注靈活性，可擴展性，Hypervisor支持程度，併發部署與處理性能，平臺可容載與管理的資源數量等。
4.1.3 集成能力
驗證私有云管理平臺的接口功能，測試接口是否具備多樣性，各類接口提供的服務是否滿足管理與集成的需求，包括API接口的類型，執行效率，集成開發的難以程度，系統間消息傳遞集成接口的效率等。
4.2 資源池
4.2.1 計算資源
計算資源設備測試基本按照計算設備提供廠商的基線提供相關報告與依據即可。
4.2.2 存儲資源
存儲設備的測試，主要檢驗方案和設備能正常運行業務，且在各種故障場景下不影響數據中心的正常運行，同時能夠提供持續性的數據保護能力。
存儲部分的測試主要分成基本功能測試、可靠性測試和性能測試。
基本功能測試主要針對設備本身，檢驗設備是否能正常加電，系統是否能正常運行，鏈路間是否通暢、穩定等；一般採用設備廠家的檢測方法判定。
可靠性測試主要檢驗設備內模塊故障對系統的運行是否產生影響，鏈路中斷對存儲整體產生的波動等；一般需要針對設備的各種組成模塊，模擬對應的故障場景，同時進行不間斷業務運行來判定。
性能測試主要檢驗存儲設備自身的各種性能指標，如存儲帶寬、IOPS、SAN交換機性能、數據複製性能等；一般可採用IOmeter、交換機監控、DD拷貝等方式判定。
4.2.3 網絡資源
網絡資源在構建時應考慮以下測試要點：
-
檢查網關設備到服務器的連通性；
-
檢查網關設備到存儲設備的連通性；
-
檢查新建網絡環境和某企業現有網絡環境的連通性；
-
檢查新建網絡環境和Internet的連通性；
-
檢查雲管理平臺不同VLAN虛擬機之間的連通性；
-
檢查雲管理平臺和資源池到存儲設備之間的連通性；
-
檢查雲管理平臺虛擬機和外部網絡的連通性；
-
檢查資源池同一VLAN內虛擬機的連通性；
-
檢查資源池不同VLAN內虛擬機的連通性；
-
檢查資源池內虛擬機和外部網絡的連通性。
4.3 安全體系
** 物理安全：**
測試要點：機櫃配置獨立門鎖
測試方法：機櫃有配置門鎖並且不是通用。
** 網絡安全**
測試要點：防火牆是否支持虛擬化。
測試方法：爲單個用戶創建獨立虛擬防火牆，安全策略不相互影響，能夠單獨出安全報告。
測試要點：IPS支持虛擬化
測試方法：爲單個用戶創建獨立虛擬IPS，安全策略不相互影響，能夠單獨出安全報告。
測試要點：VPN支持多種協議。
測試方法：測試VPN支持IPSEC，SSL和PPTP VPN方式
** 存儲安全**
測試要點：存儲設備支持存儲加密
測試方法：存儲設備是否開啓存儲加密功能
測試要點：存儲設備是否配置了合理的管理口令
測試方法：驗證是否可以不用口令或者默認口令登陸存儲管理接口
** 服務器安全**
測試要點：IPMI是否安全配置
測試方法：參考IPMI的安全配置最佳實踐，檢查IPMI協議是否安全配置
測試要點：BIOS是否安全配置
測試方法：檢查BIOS，是否根據規範進行安全配置，如啓動順序，管理口令，禁用的設備等
測試要點：PXE是否安全配置
測試方法：檢查PXE是否安全配置，環境中支持的PXE的DHCP服務器是否安全配置。
** 虛擬化安全**
測試要點：虛擬化組件是否安全配置（包括虛擬網絡、虛擬存儲和虛擬機）
測試方法：參照虛擬化組件的安全配置最佳實踐，檢查虛擬化組件是否安全配置
測試要點：虛擬化管理系統是否安全配置
測試方法：檢查虛擬化管理系統是否進行了安全配置，和其他系統的接口權限是否合理。
測試要點：創建的虛擬機模板是否有存在安全弱點
測試方法：使用弱點評估工具掃描虛擬機模板，檢查是否存在安全弱點
系統安全
測試要點：系統是否安全配置
測試方法：系統安全配置規範，檢查系統是否被安全配置
數據安全
測試要點：殘餘數據是否被有效清除
測試方法：檢查雲管理平臺在分配和回收磁盤空間時是否會進行空間清零。
運維安全
測試要點：所有多雲環境的管理操作是否都是通過堡壘進行的
測試方法：嘗試是否有其他直接對雲環境進行管理操作的方式。