我從1999年開始使用VMware Workstation系列軟件，從1.0開始，直到現在的10.x系列，期間每個版本（無論是小的版本升級還是Beta版），都沒有拉下。VMware的其他產品，如以前的VMware GSX Server、後來的VMware Server，以及VMware ESX Server，到現在的VMware ESXi 5，都一一測試、使用。從2003年開始，我即使用VMware GSX Server爲企業解決物理服務器數量不夠的問題，算是使用VMware運營比較早的人。而正式在企業使用VMware ESX Server，則是從3.0的版本開始，當然這些最早的版本，也隨着VMware ESX Server的升級，而升級到3.5、4.0、4.1直到現在的ESXi 5.5。好，閒言少述，下面我介紹一下，使用vSphere產品組建虛擬化數據中心的一點經驗，希望對朋友們有所幫助，如果有問題，歡迎交流、討論。
1 虛擬化產品選擇
在組建虛擬化數據中心時，一個重要前提是，選擇何種虛擬化產品。對於我們接手、設計的案例，無一例外選擇的是VMware vSphere。期間也想選擇其他產品，但都是有或多或少的問題。有一次嘗試使用另一個虛擬化產品，在安裝配置的期間沒有任何問題，但在模擬生產環境時發現，用戶在從局域網及互聯網訪問該服務器的虛擬機時，發現每個連接的速度被限制在700Kbps/s，而在該服務器的虛擬機之間、虛擬機到物理主機之間速度正常，能達到7、8百兆。後來我按照同樣的環境，在其他服務器上測試，發現有的服務器，通過網絡訪問虛擬機速度正常，有的服務器就被限制在700K多，不到1M。後來我和客戶溝通，換成VMware ESXi，網絡正常。
在我使用VMware ESX Server到VMware ESXi的這些年中，虛擬化的服務器非常穩定、可靠、安全，期間沒有出現問題。在我所維護的網絡中，有一臺服務器目前仍然在企業生產環境中使用，該服務器從VMware ESX Server 3.0升級到4.0、4.1到現在的5.5，仍然在爲企業服務（期間該服務器有塊硬盤損壞，換上備用硬盤並完成同步期間，服務器沒有關機、重啓，業務也沒有中斷）。
VMware vSphere虛擬化產品，是以前、當前以及將來，虛擬化數據中心的最優選擇。vSphere產品安全、可靠、穩定。VMware ESXi虛擬化核心很少，可以安裝在1GB的U盤上運行，並且在多年的運行時，除了產品版本升級以及必要的補丁更新，VMware ESXi虛擬化主機不需要重啓－只要機房不停電、不升級，VMware ESXi可以一直運行多年。
2 CIO的顧慮
在實施虛擬化之前，企業信息中心的主管都會有一定的顧慮，尤其是現有業務已經平穩運行了很長時間、信息化比較成熟的企業。他們最大的顧慮就是：實施虛擬化後，整個系統是否安全。例如，原來單位有100個應用，每個應用在1臺物理服務器上，整個系統有100臺物理服務器；在虛擬化之後，每個應用在1臺“虛擬”服務器上，每個主機有10臺甚至更多的虛擬機，這樣虛擬化10臺甚至更少的物理服務器代替了原來的100臺服務器。原來某個服務器壞了，最多隻是影響這一個應用；現在如果某個服務器壞了，則會影響10個甚至更多的應用。這樣會給信息主管帶來壓力。另外，把多臺服務器遷移、合併到一個主機中，性能是否足夠呢？
在這裏，CIO主要有兩個顧慮，一個是安全，一個是性能。
首先說安全問題。在沒有采用虛擬化的時候，一臺服務器對應一個應用，這看似安全，實際風險比較大。一臺服務器是對應一個應用，從數量上來看，分散了風險，但現在這臺服務器使用的是“本地硬盤”，所有這個服務器的應用都在“本地硬盤”上，一旦服務器當機、死機，系統不能進入，那麼，在服務器不可用的情況下，怎麼將數據從這臺“當機”的服務器上拷貝或遷移到其他能用的主機上呢？這不是和我們平常的工作站一樣，計算機壞了，將硬盤拆下來裝到別的機器上就能用。要知道，任何重要的服務器，都是多個硬盤並做着RAID的。無論是最簡單的RAID1，還是RAID5、RAID50、RAID10，都是多個硬盤，而簡單的將這些進行了RAID配置的硬盤拿到別的服務器，不一定能用，不一定保證數據不丟失（這需要比較高的技術）。
而使用虛擬化技術，每臺服務器對應多個應用，相比一臺服務器對應一個應用，從數量對比來看，看似不安全，但不能只看簡單的數字對比。從使用虛擬化開始，我們應該明白一個原則：數據與系統（或應用）分開。簡單來說，所有的數據都沒有保存在“本地硬盤”，而是保存在安全性極高的“共享存儲”上面。在虛擬化的數據中心中，服務器本地不配硬盤，或配置的硬盤只用來安裝虛擬化系統軟件（VMware ESXi）本身，而在虛擬化層之上運行的虛擬機，其數據是保存在共享存儲上面，服務器“本地”不保存虛擬機數據。這就好比在一個單位中，爲每個房間配置一個空調，或者使用中央空調的區別。
在虛擬化之前的大多數的企業中，每臺服務器大多配置了1個CPU、2個硬盤做RAID1或3個硬盤做RAID5、單電源、單網絡（服務器兩塊網卡只用一塊）。而在虛擬化的項目中，虛擬化主機服務器大多配置2～4個CPU、6～10個甚至更多硬盤做RAID5或RAID50、RAID10、2～4個電源、4個或更多的物理網卡冗餘。虛擬化中每臺服務器都有冗餘，在服務器中的單一網卡、硬盤、電源甚至CPU出現問題時都會有冗餘設備接替。另外，在虛擬化項目中，普通採用共享的存儲，虛擬機保存在共享的存儲中，即使某臺主機完全損壞，運行在該主機上的虛擬機會在其他物理主機啓動，保證業務系統不會中斷。
再說性能問題。單一的應用主機，大多配置2個硬盤做RAID1，或者3個硬盤做RAID5，這樣磁盤性能較爲低下。在虛擬化主機中，通常用6塊或更多的硬盤，採用RAID5、RAID50或者RAID10，磁盤性能較高。另外，雖然虛擬化後，在同一個主機上跑多個虛擬機，但這些虛擬機並不會在同一時刻都會要求較高的CPU與磁盤、內存利用率。根據多年的虛擬化實施經驗，在虛擬化後，不會降低原來的每個應用的響應速度而是會略有增加。
3 企業虛擬化進程
在企業實施虛擬化的過程中，大多是先虛擬化不太重要的物理機，將這些物理機遷移到虛擬機中運行一段時間（通常爲1周的時間），查看虛擬化後是否對業務應用有所影響，並模擬一些故障、對以後可能出現的問題進行實驗，等這些測試完成之後，再虛擬化其他的物理機。而一些不適合虛擬化的應用仍然會運行在原來的物理主機上，例如用做視頻點播的服務器、重要的數據庫服務器等這些應用。
4 如何利用現有基礎架構
在虛擬化的過程中有個問題需要考慮，就是原來的一些基礎設備，例如原來的服務器、存儲、交換機。這些要根據服務器、存儲的性能、參數，綜合考慮。
對於原來的32位的服務器，原則上是全部淘汰，因爲這些服務器購買時間較長，性能較低、潛在故障率較高，不能滿足現有應用。
如果是近一、兩年新購買的服務器，則考慮將這些服務器整合、擴充，用做虛擬化主機。大多數服務器能擴充到很高的配置，但標配並不是很高。例如，IBM 3850 X5服務器最大可以擴充到4個CPU、1TB內存、雙電源。以CPU爲例，IBM 3850 X5出廠標配2個CPU，這CPU可以是6核、8核。如果企業現有多臺IBM 3850 X5服務器（例如2臺或更多），可以將這2臺的CPU放到其中一臺，而另一臺則可以新購4個8核的CPU。同樣，內存也可以集中到一臺，另一臺則配置多個單條8GB的內存。同樣，對於其他廠家的服務器也可以這樣處理，例如DELL R910（如圖1-1所示），標配2個CPU，最大支持4個CPU、2TB內存、4冗餘電源，可以多臺進行整合，然後再進行服務器的升級。
圖1-1 Dell R910服務器
在虛擬化實施的過程中，如果使用現有的服務器，推薦優先爲服務器添加內存、網卡，其次是配置冗餘電源、CPU。至於硬盤，在企業虛擬化項目中，優先是配置共享的存儲，其次是添加本地硬盤。
除了做虛擬化主機外，還可以將原有的服務器改做存儲服務器。例如，如果某服務器配置較低並且不具有升級的價值，但具有較多的本地硬盤時，可以將硬盤集中到某臺服務器中，將這臺服務器通過安裝openfiler（32位或64位產品都有）或Windows Server 2008 R2或Windows Server 2012，組成存儲服務器，通過千兆網絡爲虛擬化環境提供iSCSI的網絡存儲，這些存儲可以用來做數據備份或擴展。
5 服務器性能與容量規劃
在實施虛擬化的前期，有一個虛擬機容量規劃。就是一臺物理服務器上，最大能放多少虛擬機。實際上這是一個綜合的問題，即要考慮主機的CPU、內存、磁盤（容量與性能），也要考慮運行的虛擬機需要的資源。在實際使用時，系統總有至少30%甚至更高的富餘容量，不可能讓一個主機上的資源利用率超過80%以致接近100%，否則一旦達到這些數值，整個系統響應會比較慢。
在估算虛擬化的容量時，在只考慮CPU的情況下，可以將物理CPU與虛擬CPU按照1：4～1：10甚至更高的比例規劃。例如一臺物理的主機具有4個8核心的CPU，在內存、存儲足夠的情況下，按照1：5的比例，則可以虛擬出4×8×5＝160個vcpu，假設每個虛擬機需要2個vcpu，則可以創建80個虛擬機。在實際實施虛擬化的項目中，大多數虛擬機對CPU的要求並不是非常的高，即使爲虛擬機分配了4個或更多的CPU，但實際上該虛擬機的CPU使用率只有10%以下，這時候所消耗的物理主機CPU資源不足0.5個。如圖1-2所示，這是使用vCenter Operations Manager統計的容量分配過剩的虛擬機，從列表中可以看出，大多數虛擬機的CPU利用率不足10%，實際使用的內存也較低（儘管爲大多數虛擬機分配了2GB內存，但實際使用只有256～576MB內存之間）。
圖1-2 使用vcos統計的容量過剩的虛擬機
在虛擬化的項目中，對內存佔用是最大、要求最高的。在實際使用中也是如此，管理員會發現，物理主機的內存會接近80%甚至90%。因爲在同一物理主機上，規劃的虛擬機數量較多，而且每個虛擬機分配的內存又較大（總是超過該虛擬機實際使用的內存），所以會導致主機可用內存減少，如圖1-3所示，這是某正在運行中的VMware ESXi 5.1主機的CPU與內存使用情況。
圖1-3 某運營中的ESXi摘要
在爲物理主機配置內存時，要考慮將要在該主機上運行多少虛擬機、這些虛擬機一共需要多少內存。一般情況下，每個虛擬機需要的內存在1GB～4GB甚至更多，還要爲VMware ESXi預留一部分內存。通常情況下，配置了4個8核心CPU的主機，一般需要配置96GB甚至更高的內存；在配置2個6核心CPU的主機，通常要配置32～64GB內存。
6 統計與計算現有容量
如果要將現有的物理服務器遷移到虛擬機中，可以製作一張統計表這包括現有物理服務器的CPU型號、數量、CPU利用率、現有內存及內存利用率、現有硬盤數量、大小、RAID及使用情況，然後根據這些來計算，表1-1是某單位現有服務器的情況統計（在實際情況下，該單位服務器大約有100臺，表1-1及後文表1-2只是列出了部分服務器的型號及資源使用統計）。
表1-1 某單位現有服務器資源利用情況統計表
根據上表，我們計算每臺服務器實際需要的CPU、內存與磁盤空間，計算方式爲：
實際CPU資源=該臺服務器CPU頻率×CPU數量×CPU使用率
實際內存資源=該臺服務器內存×內存使用率
實際硬盤空間=硬盤容量-剩餘空間
例如，對於該表中第一臺服務器需要3.0Ghz×2×15%=0.9Ghz，內存爲2GB×30=0.6GB,硬盤爲73GB-30GB=43GB。
然後在表1-1後面計算，實際得出情況如表1-2所示。
表1-2 每臺服務器實際使用資源及最後資源統計（只列出部分服務器）
經過計算，本項目中已經使用了91.1944Ghz的CPU資源，以CPU頻率3.0HzCPU爲例，則需要30核心（負載100%），但要考慮整體項目中CPU的負載率爲60%～75%，以及管理等其他開銷，則至少需要40個CPU核心，如果配置4個6核心的服務器，則需要大約4臺物理主機。至少內存，現在已經使用了182GB，加上管理以及富餘，以360GB計算，每服務器96GB～128GB即可。
如果不購買新的服務器，而從中選擇4～8臺高配置的服務器（例如6臺），將這100臺服務器使用虛擬化技術，遷移到其中的6臺，則節省的電費（以每臺服務器400W、工業用電1.1元/度計算）約34.69萬。
如果要使用現有的服務器，則需要爲某些做虛擬化主機的服務器擴充內存。使用現有服務器，如果不擴充現有服務器的CPU，在2個CPU的主機中，將內存擴充到64GB爲宜。
根據表1-2計算可知，己使用6.9T的容量，則要爲整個虛擬化系統規劃10TB甚至更多的存儲。在備份原有服務器數據的情況下，可以集中300GB、146GB的硬盤到虛擬化主機上，統一使用。在使用6臺物理服務器做虛擬化主機的情況下，每臺服務器需要1.5TB～3TB的空間。在使用RAID5時，使用6塊300GB即可提供1.5TB可用容量，使用8塊300GB做RAID50時可提供1.8TB可用容量。使用12塊300GB硬盤、RAID50時可提供3TB的容量。
7服務器的選擇
在實施虛擬化的過程中，如果現有服務器可以滿足需求，可以使用現有的服務器。如果現有服務器不能完全滿足需求，可以部分採用現有服務器，然後再採購新的服務器。
如果採購新的服務器，可供選擇的產品比較多。如果單位機房在機櫃存放，則優先採購機架式服務器。採購的原則是：
（1）如果2U的服務器能滿足需求，則採用2U的服務器。通常情況下，2U的服務器最大支持 2個CPU，標配1個CPU。在這個時候，就要配置2個CPU。
如果2U的服務器不能滿足需求，則採用4U的服務器。通常情況下，4U的服務器最大支持4個CPU並標配2個CPU，在購置服務器時，爲服務器配置4個CPU爲宜。如果對服務器的數量不做限制，採購兩倍的2U服務器要比採購4U的服務器節省更多的資金，並且性能大多數也能滿足需求。
（2）CPU：在選擇CPU時，選擇6核或8核的Intel系列的CPU爲宜。10核或更多核心的CPU較貴，不推薦選擇。當然，單位對CPU的性能、空間要求較高時除外。
（3）內存：在配置服務器的時候，近可能爲服務器配置較大內存。在虛擬化項目中，內存比CPU更重要。一般情況下，2個6核心的2U服務器配置64GB內存，4個6核心或8核心的4U服務器配置128GB或更多的內存。
（4）網卡：在選擇服務器的時候，還要考慮服務器的網卡數量，至少要爲服務器配置2接口的千兆網卡，推薦4端口千兆網卡。
（5）電源：近可能配置兩個電源。一般情況下，2U服務器選擇2個450W的電源可以滿足需求，4U服務器選擇2個750W電源可以滿足需求。
（6）硬盤：如果虛擬機保存在服務器的本地存儲，而不是網絡存儲，則爲服務器配置6個硬盤做RAID5，或者8個硬盤做RAID50爲宜。由於服務器硬盤槽位有限，故不能選擇太小的硬盤，當前性價比高的是600GB的SAS硬盤。2.5寸SAS硬盤轉速是10000轉，3.5寸SAS硬盤轉速爲15000轉。選擇2.5寸硬盤具有較高的IOPS。
至於服務器的品牌，則可以選擇IBM、HP或Dell。表1-3是幾款服務器的型號及規格。
表1-3 幾款服務器型號及規格
幾種服務器外形如圖1-4～圖1-6所示。
圖1-4 HP DL380系列，2U機架式
圖1-5 HP DL 580系列，4U機架式
圖1-6 IBM 3850系列，4U機架式
爲了提高服務器的密度，一些廠商採用類似“刀片”服務器的作法，在2U大小的機架中，集成4個節點服務器，這樣一臺服務器相當於4臺獨立的服務器使用，進一步節省了空間，例如DELL PowerEdge C6100就是這麼一款機器，它支持12個3.5英寸或24個2.5英寸熱插拔SAS、SATA或固態硬盤，集成4個節點，每個節點可以2個CPU、96GB內存、2端口網卡。通過共享電源、風扇和底板，可以有效降低功耗，實現高能效並節省運營成本。C6100正面、背面如圖1-7、圖1-8所示。
圖1-7 Dell C6100正面圖
圖1-8 DELL C6100背面圖，有4個節點
當對服務器佔用空間有較高要求時，可以配置刀片服務器，例如華爲Tecal E6000服務器，8U的空間，可以最大配置10個刀片服務器，每個服務器可以配2個CPU、2個SAS硬盤、12個內存插槽、雙端口網卡。華爲E6000系列服務器如圖1-9所示。
圖1-9 華爲E6000機箱及刀片服務器
8存儲的選擇
在虛擬化項目中，推薦採用存儲設備而不是服務器本地硬盤。在配置共享的存儲設備時，並且虛擬機保存在存儲時，才能快速實現並使用HA、FT、vMotion等技術。在使用VMware vSphere實施虛擬化項目時，一個推薦的作法是將VMware ESXi安裝在服務器的本地硬盤上，這個本地硬盤可以是一個固態硬盤（5.2～10GB即可），也可以是一個SD卡（配置8GB即可），甚至可以是1GB的U盤。如果服務器沒有配置本地硬盤，也可以從存儲上爲服務器劃分8～16GB的分區用於啓動。
【說明】在HP DL380 G8系列服務器主板上集成了SD接口，可以將SD卡插在該接口中用於安裝VMware ESXi。
如果在虛擬化項目中選擇存儲，如果在項目中服務器數量較少，可以選擇SAS HBA接口（如圖1-4所示）的存儲，如果服務器數量較多，則需要選擇FC HBA接口（如圖1-5所示）的存儲並配置FC的光纖交換機。SAS HBA接口可以達到6Gbps/s，而FC HBA接口可以達到8Gbps/s。
圖1-4 SAS HBA接口卡
圖1-5 FC HBA接口卡
在選擇存儲設備的時候，要考慮整個虛擬化系統中需要用到的存儲容量、磁盤性能、接口數量、接口的帶寬。對於容量來說，整個存儲設計的容量要是實際使用容量的2倍以上。例如，整個數據中心已經使用了1TB的磁盤空間（所有己用空間加到一起），則在設計存儲時，要至少設計2TB的存儲空間（是配置RAID之後而不是沒有配置RAID、所有磁盤相加的空間）。
例如：如果需要2TB的空間，在使用600GB的硬盤，用RAID10時，則需要8塊硬盤，實際容量是4個硬盤的容量，600GB×4≈2.4TB。如果要用RAID5時，則需要5塊硬盤。
在存儲設計中另外一個重要的參數是IOPS (Input/Output Operations Per Second)，即每秒進行讀寫（I/O）操作的次數，多用於數據庫等場合，衡量隨機訪問的性能。存儲端的IOPS性能和主機端的IO是不同的，IOPS是指存儲每秒可接受多少次主機發出的訪問，主機的一次IO需要多次訪問存儲纔可以完成。例如，主機寫入一個最小的數據塊，也要經過“發送寫入請求、寫入數據、收到寫入確認”等三個步驟，也就是3個存儲端訪問。每個磁盤系統的IOPS是有上限的，如果設計的存儲系統，實際的IOPS超過了磁盤組的上限，則系統反應會變慢，影響系統的性能。簡單來說，15000轉的磁盤的IOPS是150，10000轉的磁盤的IOPS是100，普通的SATA硬盤的IOPS大約是70～80。一般情況下，在做桌面虛擬化時，每個虛擬機的IOPS可以設計爲3～5個；普通的虛擬服務器IOPS可以規劃爲15～30個（看實際情況）。當設計一個同時運行100個虛擬機的系統時，IOPS則至少要規劃爲2000個。如果採用10000轉的SAS磁盤，則至少需要20個磁盤。當然這只是簡單的測算，在真正實施時需要考慮多方面的因素。
在規劃存儲時，還要考慮存儲的接口數量及接口的速度。通常來說，在規劃一個具有4主機、1個存儲的系統中，採用具有2個接口器、4個SAS接口的存儲服務器是比較合適的。如果有更多的主機，或者主機需要冗餘的接口，則可以考慮配FC接口的存儲，並採用光纖交換機連接存儲與服務器。表1-4是幾種低端存儲的型號及參數，可以滿足大多數的中小企業虛擬化系統中。
表1-4 常用幾種存儲服務器的參數
9網絡及交換機的選擇
在一個虛擬化環境裏，每臺物理服務器一般擁有更高的網卡密度。虛擬化主機有6個、8個甚至更多的網絡接口卡（NIC）是常見的，反之，沒有被虛擬化的服務器只有2個或4個NIC。這成爲數據中心裏的一個問題，因爲邊緣或分佈交換機放在機架裏，以簡化網絡佈線，然後向上傳輸到網絡核心。在這種解決方案裏，一個典型的48端口的交換機僅能處理4～8臺虛擬主機。爲了完全添滿機架，需要更多的邊緣或分佈交換機。
在虛擬化環境裏，當多個工作負荷整合到這些主機裏時，根據運行在主機上的工作負荷數量，網絡流量增加了。網絡利用率將不再像過去每臺物理服務器上那樣低了。
爲了調節來自整合工作負荷增加的網絡流量，可能需要增加從邊緣或分佈交換機到網絡核心的向上傳輸數量，這時對交換機的背板帶寬及上行線路就達到較高的要求。
另一個關鍵的改變來自最新一代虛擬化產品的動態性質，擁有諸如熱遷移和多主機動態資源管理。虛擬化裏固有的動態更改性能意味着不能再對服務器之間的流量流動作任何假設。
在進行虛擬機之間的動態遷移，或者將虛擬機從一個存儲遷移到另一個存儲時，爲了減少遷移的時間，不對關鍵業務造成影響，在遷移期間會佔用大量的網絡資源，另外，在遷移的時候，雖然可以減少併發遷移的數量，但在某些應用中，可能會同時遷移多臺虛擬機，這對交換機背板帶寬以及交換機的性能的要求達到更高。
另外，虛擬化使數據中心裏網絡層的一些能見度降低了。網絡工程師在虛擬交換機裏沒有能見度，也不能輕鬆決定哪個物理NIC對應哪個虛擬交換機。這在故障檢修中是最重要的信息，爲了減少故障率，爲交換機配置冗餘的業務板及冗餘電源也應該考慮。同時，在近可能的前提下，配置更高的交換機。
在大多數的情況下，物理主機配置4端口千兆網卡，並且爲了冗餘，近可能是每兩個網卡綁定在一起，用做負載均衡及故障轉移。
對於中小企業虛擬化環境中，爲虛擬化系統配置華爲S5700系列千兆交換機即可滿足大多數的需求。華爲S5700系列分24端口、48端口兩種。如果需要更高的網絡性能，可以選擇華爲S9300系列交換機。如果在虛擬化規劃中，物理主機中的虛擬機只需要在同一個網段（或者在兩個等有限的網段中），並且對性能要求不高但對價錢敏感的時候，可以選擇華爲的S1700系列普通交換機。無論是VMware ESXi還是Hyper-V Server，都支持在虛擬交換機中劃分VLAN。即將主機網卡連接到交換機的Trunk端口、然後在虛擬交換機一端劃分VLAN，這樣可以在只有一到兩個物理網卡時，可以讓虛擬機劃分到所屬網絡中的不同VLAN中。表1-5是推薦的一些交換機型號及參數。
表1-5 中小企業虛擬化環境中交換機的型號及參數
【說明】華爲S5700系列機箱高度爲1U，提供精簡版（LI）、標準版（SI）、增強版（EI）和高級版（HI）四種產品版本。精簡版提供 完備的二層功能；標準版支持二層和基本的三層功能；增強版支持複雜的路由協議和更爲豐富的業務特性；高級版除了提供上述增 強版的功能外，還支持MPLS、硬件OAM等高級功能。在使用時可以根據需要選擇。