Cisco HyperFlex 超融合系統
1. 前言
1.1、 測試背景
虛擬化技術是雲計算的關鍵技術之一，隨着雲計算技術的逐步推廣， 虛擬化環境下傳統集中存儲架構被越來越多地詬病，超融合架構越來越多地成爲虛擬化環境中的首選基礎架構。由於其橫向擴展、快速部署、易管理、節省機櫃空間和耗電等，已在製造、金融、電信、電力等行業的數據中心領域得到部署和應用。
Cisco HyperFlex 作爲業界領先的超融合虛擬化平臺廠商之一，能夠更加快速、高效、穩定的支撐起衆多企業的虛擬化環境。
1.2、 測試目的
此次測試需要達到以下目的：
驗證CiscoHyperFlex 超融合架構的整合功能。
驗證CiscoHyperFlex 基於VMware虛擬化管理套件的功能特性
驗證CiscoHyperFlex 超融合架構的可靠性及冗餘特點
驗證CiscoHyperFlex 系統存儲IOPS性能表現
1.3、 測試環境
CiscoHyperFlex 超融合虛擬化測試平臺配置如下：
設備型號 | 每節點（共三個節點） | |||
CPU | 內存 | 硬盤 | 網絡 | |
FI-6268(2臺) | ||||
UCS節點（3臺） | E5-2630V4 | 256GB | SSD:120GB *1 SSD:489GB*1 HDD:1.2TB*1 | 10GB SFP+ *2 |
核心業務交換機(1臺) | 1臺Cisco N9K 核心交換機 | |||
1.4、 網絡拓撲
Cisco HyperFlex 測試環境網絡拓撲圖：
軟件名稱 | 軟件描述 | 備註 |
vCenterServer | vCenterServer6.0 | VCSA6.0 (SuSe Linux) |
DNS/NTP | WindowsServer2012R2 | AD/DNS/NTP |
IOmeter-1.1.0 for Win | 存儲性能測試工具 | 每個節點部署一個Testing VM,使用Windows Server2008R2 |
HCIBenchv1.6.1.0 | VMware HCI 超融合架構性能測試軟件 | 通過OVF 導入該測試軟件虛擬機 |
1.5、 網絡地址規劃
每個節點有2個萬兆端口，分別連接2臺萬兆FI交換機，FI交換機使用trunk口上聯到用戶三層交換機。2臺FI交換機管理端口通過三層交換機上連至用戶已有的管理網絡。
1.5.1、 IP地址規劃
網絡 | Management | Data | ||
節點 | Hypervisor/VMotion | StorageController | Hypervisor | StorageController |
Node-A | 192.168.207.111 | 192.168.207.114 | 1.1.1.11 | 1.1.1.14 |
Node-B | 192.168.207.112 | 192.168.207.115 | 1.1.1.12 | 1.1.1.15 |
Node-c | 192.168.207.113 | 192.168.207.116 | 1.1.1.13 | 1.1.1.16 |
Gateway | 192.168.207.252 | 192.168.207.252 | N/A | N/A |
HypervisorClusterManager | 192.168.207.117 | |||
Installer | 192.168.206.11 | |||
DataClusterManager | 1.1.1.17 | |||
DNS | N/A | |||
NTP | 192.168.206.1 | |||
1.5.2、 VLAN規劃
VLAN ID | IP地址段 | 網關 | 用途 | 備註 |
305 | 192.168.207.x | 192.168.207.252 | VM管理、VM業務 | FI帶外管理 |
100 | 1.1.1.x | N/A | 分佈式數據存儲 |
1.5.3、 用戶名密碼規劃
分類 | 用戶名 | 口令 | 連接方式 |
FI Node | admin | Cisco123 | MMC |
CVM | root | Cisco123 | SSH |
ESXi | root | Cisco123 | SSH/MMC |
IPMI | admin | Cisco123 | MMC |
vCenter | Abc@123. | HTTPS、MMC | |
NTP/DNS | test.com\administrator | abc123. | MSTSC |
2. HyperFlex綜合功能測試
2.1、 IOmeter性能測試
2.1.1、 概述
性能測試主要考驗Hyperflex系統讀寫的IOPS、響應延遲和吞吐帶寬。
如果用戶需要部署VDI虛擬桌面或數據庫應用、文件服務等對存儲讀寫有要求的應用，則會關注在Hyperflex平臺上，不同應用場景的應用業務性能將達到的效果。
建議使用IOmeter進行IOps的性能測試，一個在存儲領域廣泛使用的性能測試軟件，企業用戶比較認可通過該軟件跑出來的結果；另外該軟件操作也比較簡單，運行在Windows 2008/2012之上，圖形化的界面管理。另外在VDI環境測試也可以使用HCIBench軟件模擬出批量創建虛擬機並通過這些虛擬機同時運行腳本測試讀寫性能。
爲了跑出最大的性能，建議在每臺Hyperflex Node Server部署一個安裝了Windows操作系統+IOMeter_VM，通過IOmeter提供的Manager組件同時把這幾個IOmeter測試Agent統一管理，同時測試性能，獲得累加後的性能數據。
2.1.2、 IOmeter 基本I/O性能測試數據
測試場景 | 總IOPS | 讀IOPS | 寫IOPS | 平均響應時間(毫秒) | 平均讀取響應時間(毫秒) | 平均寫入響應時間（毫秒） |
4K 30%寫/70%讀/100%隨機 | 86562.81 | 60730.04 | 25832.77 | 4.4 | 2.2 | 9.7 |
4K100%讀/100%隨機 | 268567.53 | 268567.53 | N/A | 1.42 | 1.42 | N/A |
說明：測試時長25分鐘左右。
2.1.3、 測試步驟
創建IOmeter集羣，在每個Hyperflex Node上創建一個VM（運行windows+IOmeter）,其中Test1運行IOmeter控制檯（管理多個IOmeter Manager）和IOmeter Manager（實際跑性能的程序）；其他TestX運行IOmeter Manager。
加入集羣操作步驟如下：
C:\IOmeter>Dynamo–I 192.168.206.23 –m 192.168.206.24
192.168.206.23是Remote IOMeter Server 控制檯，192.168.206.24 是加入集羣的Manager。
每個測試的虛擬機(win2k8-iometer1、win2k8-iometer2和win2k8-iometer3)都新添加8塊虛擬磁盤，每塊虛擬磁盤大小爲10GB。使用2個SCSI控制器；每個測試虛擬機配置8個vCPU和8GB內存，進入每個測試虛擬機安裝並運行IOmeter。
每個測試虛擬機有8個Worker,設置每個Worker對應一塊單獨的盤，這樣壓力足夠大。
將各IOmeter Manager註冊到IOmeter控制檯上。每個IOMeterManager會自動生成Worker線程，把CPU撐滿。
在每個Worker中選擇目標盤/測試模板和結果刷新週期。
設置測試時間爲30分鐘。
2.2、 VMware HCI Bench測試
2.2.1、 測試環境
通過HCI Bench部署20臺虛擬機，分佈在3臺HX節點上，每個VM的參數如下表所示：
GuestOS | vCPU | Memory | Disks | Disk Size | Data Profile |
Linux photon HCIBenchv1.6.1.0 | 4 | 4096MB | 2塊 | 16GB、30GB | 70%Read vs 30%Write 100% Random 4k block |
2.2.2、 測試結果
2.2.3、 測試流程
2.3、 HyperFlex 高可用性測試
2.2.4、 測試概述
在進行HyperFlex高可用性測試之前，需要檢查準備工作是否已完成，以免在測試的過程中發生無法及時切換的情況。依次進行模擬故障測試時，需前一個故障在系統中已恢復消除，再展開下一個節點的測試。
每個HX Node Server 已經預先部署了幾個測試虛擬機。
2.2.5、 測試場景
測試場景 | 測試點 | 測試目標 | 測試條目/步驟 | 結果 |
主機節點關機 | 集羣節點冗餘測試 | 具備分佈式架構獨有的高可用特性，集羣中不再存在單一故障點 |
| 運行在該節點的虛擬機丟包53個後恢復，該節點恢復後，虛擬機不再發生遷移，該節點恢復時，虛擬機運行不受影響。 |
FI 交換設備關機 | FI互聯矩陣冗餘測試 | 具備主備集羣模式的FI交換設備，不存在單一設備故障點 |
| 分別運行在三個節點上的虛擬機，3個不丟包，恢復時，分別運行在三個節點上的虛擬機,3個不丟包.
|
FI交換設備 上聯鏈路斷開 | FI互聯矩陣上聯鏈路冗餘測試 | 冗餘的上聯鏈路，不存在單一鏈路故障點 |
| 分別運行在三個節點上的虛擬機，有3個丟一個包，恢復時，分別運行在三個節點上的虛擬機，有2個丟5個包，另外1個不丟包。 |
節點鏈路斷開 | 節點端口冗餘 | 具備主備模式的萬兆交換模塊，不存在單一端口故障點 |
| 分別運行在三個節點上的虛擬機，只有1個丟一個包，另外2個不丟包，恢復時，分別運行在三個節點上的虛擬機，只有1個丟一個包，另外2個不丟包 |
CVM虛擬機關機 | CVM冗餘測試 | 具備分佈式架構獨有的高可用特性，集羣中不再存在單一故障點 |
| 只有一臺虛擬機丟了一個包；運行不受影響，HyperFlex平臺總容量沒有發生變化，恢復時，虛擬機運行不受影響，HyperFlex平臺總容量沒有發生變化。 |
磁盤故障 | SSD磁盤冗餘測試 | 具備分佈式架構獨有的高可用特性，集羣中不再存在單一故障點 |
| 三個虛擬機的IOPS都明顯下降，恢復後，三個虛擬機的IOPS都明顯回升。 |
硬盤故障 | HDD磁盤冗餘測試 | 具備分佈式架構獨有的高可用特性，集羣中不再存在單一故障點 |
| 虛擬機運行不受影響，恢復時，虛擬機運行不受影響。 |
2.2.6、 測試小結
Cisco HyperFlex基於分佈式架構的平臺 ，在對應磁盤，電源，計算節點，網絡設備等單點故障時，有着完善的冗餘保護。具有高可用性，保障業務的正常運行。
2.4、 系統監控功能
2.3.1 vCenter HX Plugin插件
Hyperflex的存儲服務管理通過vCenter HX Plugin插件完成，可以和vCenter一起完成對虛擬化資源的管理和監控。
HX Plugin插件位於vSphere web client中vCenter Inventory Lists – Cisco HyperflexSystems下，直接點擊Cisco HX Data Platform進入。
2.3.2 HX 系統健康狀態監控
直接點擊Cisco HX Data Platform進入Hyperflex系統管理界面，可以獲取HX系統健康狀態概覽：
點擊HX-Storage-Cluster - Summary，可以查看HX系統更加詳細的信息
2.3.3 Host健康狀態監控
點擊HX-Storage-Cluster–Manage-Cluster，可以查看HX Node server的健康狀態信息
2.3.4 容量監控
可以通過vCenter HX plugin監控HX的存儲容量和每個Data Store的存儲容量。
點擊HX-Storage-Cluster – Summary查看HX系統的存儲容量狀態。
點擊HX-Storage-Cluster–Manage–Datastore–Summary查看每個DataStore的存儲容量情況
點擊HX-Storage-Cluster–Manage–Datastore–Hosts查看每個DataStore的在每個Host上的狀態情況
2.3.5 故障監控
點擊HX-Storage-Cluster–Monitor–Events查看系統日誌和告警
2.3.6 性能監控
點擊HX-Storage-Cluster–Monitor–Performace查看cluster/host/datastore的IOPS/帶寬/延遲
Storatg Cluster 性能狀態
Hosts 性能狀態
Datastores 性能狀態
2.5、 特色功能展示
2.4.1. 簡單方式創建數據存儲
創建VMware Cluster所需的共享存儲空間，HyperFlex提供更直接的方式，在HX Plugin創建存儲容量後，VMware Cluster Host將直接被掛載，更加的方便
2.4.2. 通過UCSM統一管理HyperFlex基礎設施
UCSM提供原生的網絡/計算/存儲基礎設置統一管理，管理功能實用性遠超同類產品
2.4.3. 快速克隆虛擬機
相比於VMware提供的虛機克隆功能，HX通過存儲指針變化方式生成快照，快速高效，20個VM僅需要約7秒鐘 使用Right-clicka VM > Cisco plugin > Ready Clone。
2.4.4. 去重和壓縮
Hyperflex的去重和壓縮是自動開啓的，可以通過vCenter HXplugin來觀察壓縮和去重的效果。 在三臺HX Server Node共克隆20個VM，使用同一存儲空間，克隆完後，觀察HX存儲容量大小的變化。雖然新增了20個新的VM，但由於啓用了去重功能，存儲容量的增長比實際20個VM所需要的容量少很多。
2.4.5. 小結
整體界面簡潔，信息展示完整。
優秀的系統高可用性設計，單節點故障不會影響系統運行
運維簡便
優秀的報表功能
完整的數據保護功能
在隨機讀寫上，HyperFlex的SSD熱層技術保障數據在SSD層被充分利用。高IO表現完全優於傳統的存儲陣列。
3. 測試總結
3.1、 性能測試
超融合架構可充分利用企業級的固態硬盤（SSD）。值得注意的是，傳統的存儲系統專門針對旋轉介質而設計，所以很難有效利用SSD，因爲SSD的訪問模式截然不同。機械硬盤有旋轉和時延，而SSD則不存在這些機械侷限性。由於兩種媒介之間存在這種不同，因此要求軟件進行不同的優化，以實現最佳的性能。我們不能簡單拿來專門針對機械硬盤系統編寫的軟件，然後希望它能夠有效運用於固態硬盤。超融合架構利用SSD存儲各種各樣的常用數據——從虛擬機元數據到主數據存儲，一方面通過分佈式緩存獲得高性能，另一方面通過永久存儲實現快速檢索。爲了將SSD的性能優勢最大化，Cisco HyperFlex超融合架構：
保留SSD用於I/O密集型功能
採用各種節省空間的技術，使得較小的物理空間能夠存儲大量的邏輯數據
自動將“冷”數據或非常用數據遷移至機械硬盤
高速、低時延、自動QOS保障的專用網絡，保證了分佈式存儲對網絡的苛刻要求
3.2、 冗餘性測試
Cisco HyperFlex 是一個高度可用的橫向擴展型系統，不存在單點故障問題。數據分別存儲於節點內的各個硬盤以提高性能，並在集羣範圍內進行復制以便提高其可用性。因此，即使硬盤或整個節點出現故障，也能夠保證虛擬機的高可用性（參見2.2。2章節測試用例）。
3.3、 可管理/易用性
HyperFlex提供一種非常直觀的、基於Web的用戶界面，使管理員能夠完全掌控集羣中的計算和存儲資源。它將每臺虛擬機映射至系統中的物理資源，使管理員能夠輕鬆解決與虛擬機有關的問題。
HyperFlex 是一種即插即用的解決方案，其中含有運行大量虛擬服務器或虛擬桌面所需的全部硬件和軟件。管理員能夠在幾分鐘時間內將其設置完畢，並開始創建虛擬機。