現狀如下:
硬件:2臺HP C7000刀箱n個刀片,n臺HP機架式服務器,n臺物理機及其他設備。
存儲:FC SAN存儲
軟件:vcenter是windows版6.0,vsphere也是6.0版本。
網絡:三層結構,兩個C類SUB地址,管理、業務、生產混在一起。
要做的事如下:
1、刀箱及服務器升級最新固件和驅動程序。
2、部署VCSA6.5,vsphere升級到6.5版本,部署vRealize Operations Manager Appliance 6.5,vRealize Log Insight 4.3。
3、重新規劃網絡,實現管理、業務、生產網絡分離。
升級過程是需要管網絡和管數據中心的人配合操作,我們單位網絡、安全、數據中心都歸我一個人管理,所有設備我都會配置,沒有溝通成本。
Vmware有一個windows版vcenter到VCSA的升級程序,我重新規劃網路了應該是用不上的,不如全部推倒重來,按照下面計劃實施對外服務中斷可以控制在一兩個小時以內。
vCenter Server 有兩種部署方式:
安裝在 Windows 平臺上,需要額外的 Windows 操作系統和外置數據庫系統軟件許可,部署起來有一定的手動步驟,比較麻煩。
直接部署預置的 vCenter Server Appliance (VCSA),VCSA 是一個基於 Linux 的虛擬機,內置 PostgreSQL 數據庫,完全不需要額外的軟件許可,部署起來也更方便。
之前一直使用windows平臺的vcenter,主要因爲VCSA功能還不夠完善。在vsphere6.5版本中整合了Update Manager,內置備份功能,自帶HA支持,增強的 Appliance 管理能力。所以在6.5版本VCSA是最佳選擇。
目前交換機配置:
Vlan10 1.1.1.1/24 2.2.2.1/24 sub
規劃交換機配置:
Vlan10 1.1.1.1/24 生產網絡
Vlan20 2.2.2.1/24 業務網絡
Vlan30 3.3.3.1/24 vsphere網絡
Vlan40 4.4.4.1/24 硬件管理網絡
5.5.5.1/24 vmotion網絡
6.6.6.1/24 FT網絡
注意:vmotion和FT網絡無需起路由配置vlan。
按順序開整:
1、數據中心整理網線和光纖,區分出硬件管理網絡接口,vsphere標準交換機網絡接口,vsphere分佈式交換機網絡接口,其他非虛擬化服務器及硬件網絡接口。
這個事情非常非常非常麻煩,尤其數據中心規模大設備多的時候是非常頭痛的事情,我有些技巧,比如HP ILO的管理網絡接口是百兆的,在交換機上看狀態燈能區分出來,光纖10G和1G網絡在交換機看狀態燈也能區分,有一些網線距地短的可以拔插網線區分,難區分的可以在三層和二層交換機上查看arp和mac信息區分。
耐心細心的把所有網絡區分開,記錄下來,最好在交換機接口寫description信息。至此數據中心現場工作整理完畢,可以回辦公室衝杯咖啡慢慢操作了。
2、三層交換機把vlan30和40的地址以sub地址的形式加入到vlan10中。創建vlan20、30、40,並trunk到二層交換機上。二層交換機同樣創建vlan20、30、40,並trunk到三層交換機上。
3、更改硬件管理地址,HP C7000 OA、VC、iLo地址,HP機架iLo地址,存儲管理地址。
4、把4.4.4.1/24地址從vlan10刪除,加入到vlan40,根據二層交換機description信息改變接口vlan ID。至此硬件管理網絡區分完畢。
5、通過vmotion操作清理出幾臺空閒服務器,每種型號的服務器都要清理,清理出的服務器越多越好,因爲下一步並行升級可以節省大量時間。
6、登陸HP ILO,加載HP SPP鏡像,重新服務器升級服務器固件和軟件,升級完畢加載vsphere6.5鏡像重新安裝vsphere。安裝好後給vsphere分配新的地址。
7、安裝VCSA6.5到一臺新的vsphere6.5上,分配新的地址,登陸VCSA,把所有升級vsphsere6.5的服務器加入VCSA,配置標準交換機,分佈式交換機,注意最好有兩個冗餘物理設配器,配置vmotion和FT網絡,配置新地址。
注意:分佈式交換機配置是重點,我業務和生產兩個網絡,我的HP C7000刀箱用的是10G上線鏈路,我可以創建兩個端口組區分不同的vlan。也可以加兩條1G的上線鏈路再創建一個分佈式交換機。這個要根據實際使用情況想好了,HP到箱增加上行鏈路是需要服務器關機在HP VC裏配置的。
至此工作已經進行了一半,軟件升級完成,也配置了新的規劃地址。
8、下面的操作要中斷業務了,所以想好什麼時間做,我一般都是半夜在家裏做。
下面驗證一下配置是否正確:
vcenter6.0中關閉一臺虛擬機,從清單中刪除。
vcsa6.5中瀏覽存儲,找到虛擬機位置添加到清單中。
編輯虛擬機設置,在網絡適配器選擇新的網絡。
三層交換機在vlan20中加入地址,修改二層交換機連接vsphere分佈式交換機端口vlan ID。
進入虛擬機驗證網絡是否暢通。
此時vcenter6.0可以無法訪問,如果虛擬機驗證通過了把上面的網絡配置再改回去,在vcenter6.0把所有虛擬機關機,從清單移除,再把網絡配置改過來,在vcsa6.5中把所有虛擬機添加到清單裏。至此所有虛擬機遷移完畢,vcenter6.0可以刪除了。
9、三層交換機vlan30加入地址,修改二層交換機連接vsphere標準交換機接口的vlan ID。至此vsphere網絡分離完畢。
10、修改物理機及其他硬件設備vlan ID。
11、繼續升級剩餘的服務器,並加入vcsa6.5。
12、通過vmotion操作把虛擬機均勻的分佈到vsphere裏。
第8步到12步順利的話可能需要5到8個小時時間,至此業務已經完全恢復,可以睡上一覺,剩下的事情就不着急了。
13、三層交換機配置ACL:
不允許vlan30訪問vlan10、20、40,不允許vlan10、20、40訪問vlan30
不允許vlan40訪問vlan10、20、30,不允許vlan10、20、30訪問vlan40
防火牆配置只允許管理員IP訪問vlan30、40
14、部署vRealize Operations Manager Appliance 6.5,vRealize LogInsight 4.3
15、配置vcenter備份,根據需求做vcenter HA,集羣之類的。牛人的還可以嘗試部署NSX。
以上步驟可以分三步幹:
第一步:實施1-7條
第二步:實施8-12條
第三步:實施13-15條