VMware vCenter突然無法正常登陸，出現[503 Service Unavailable]

問題描述

客戶的Veeam郵件通知每日備份失敗，原因是用戶與密碼認證失敗。鑑於是通過VMware vCenter實施虛擬化基盤整體備份的，那麼VMware vCenter是否出現密碼變更？

通過遠程檢查發現情況如下：

• VMware vCenter Web界面出現異常信息

503 Service Unavailable (Failed to connect to endpoint: [class Vmacore::Http::NamedPipeServiceSpec:0x0000000c072eff60] _serverNamespace = / action = Allow _pipeName =\\.\pipe\vmware-vpxd-webserver-pipe)

• 檢查VMware vCenter服務狀態是正常的
  

• 檢查vpxd服務狀態

cd C:\Program Files\VMware\vCenter Server\bin
service-control --status --all

日誌輸出：

從日誌發現，有許多的服務處於Stop狀態未正常啓動的。

• 檢查vpxd日誌

C:\ProgramData\VMware\vCenterServer\logs\vpxd-svcs\vpxd-svcs.log

日誌輸出：

ERROR com.vmware.vim.sso.client.impl.SecurityTokenServiceImpl$RequestResponseProcessor o pId=] Server rejected the provided time range. Cause:ns0:InvalidTimeRange: The token authority rejected an issue request for TimePeriod [startTime= , endTime= ]

問題分析

通過VMware工程師反饋，此問題是由於安全令牌服務 (STS) 簽名證書有效期失效引起的。安全令牌服務 (STS) 簽名證書的有效期檢查方法參考如下：

• vCenter Server Web可以登錄情況
  
  ※ 無法從 HTML5 客戶端查看 STS 證書

• vCenter Server Web不可以登錄情況
  通過腳本方式檢查：
  https://kb.vmware.com/s/article/79248?lang=zh_CN
  “%VMWARE_PYTHON_BIN%” checksts.py

如果 vCenter Server 部署爲版本 6.5 Update 2(GA Date : 2018 年 5 ⽉ 3 號) 或更高版本，則安全令牌服務 (STS) 簽名證書的有效期可能爲兩年。vCenter Server 也不會在升級時刷新 STS 證書，這就會導致經常會忽略STS證書有效期。

VMware官方建議：如果證書設置爲 6 個月內過期，VMware 建議替換該證書。如果 6 個月後到期，請安排在相應的時間替換證書。

重要信息：STS 證書過期時不會觸發證書到期警報。本知識庫文章中介紹了可以確定 STS 證書到期日期的唯一方法。VMware 建議您偶爾檢查 STS 證書以確保其未過期。

解決方案

官方提供兩種不同環境的解決方案：

• VCSA模式 => “Signing certificate is not valid” - Regenerating and replacing expired STS certificate using PowerShell script on vCenter Server 6.5/6.7 installed on Windows (79263)

• Windows模式 => “Signing certificate is not valid” – Regenerating and replacing expired STS certificate using shell script on vCenter Server Appliance 6.5/6.7 (76719)

我們如下以Windows模式的vCenterServer爲例子：

• 通過KB下載fixsts.ps1與vmware-identity-sso-config67u3g.jar到C:\Temp目錄

• 執行fixsts.ps1的Powershell腳本
  
  ※ VMware vCenter 6.7 Update 3以下版本需要下載vmware-identity-sso-config67u3g.jar到fixsts.ps1相同目錄。

• 檢查STS證書時間

"%VMWARE_PYTHON_BIN%" checksts.py

• 如果仍出現vpxd等服務無法啓動，請將vpxd等服務證書也一起更新
  如何使用 vSphere Certificate Manager 替換 SSL 證書 (2097936)

  • 檢查其他服務的證書有效期(不管是否到期，更新就對了)

# Powershell命令
$VCInstallHome = [System.Environment]::ExpandEnvironmentVariables("%VMWARE_CIS_HOME%");foreach ($STORE in & "$VCInstallHome\vmafdd\vecs-cli" store list){Write-host STORE: $STORE;& "$VCInstallHome\vmafdd\vecs-cli" entry list --store $STORE --text | findstr /C:"Alias" /C:"Not After"}

- 證書有效期更新

"C:\Program Files\VMware\vCenter Server\vmcad\certificate-manager"

選項1 => 針對SSL證書
選項8 => 根證書更新
選項6 => vpxd,vpxd-extension,machine,vsphere-webclient證書更新

參考輸出日誌：

• 檢查vCenter Server服務是否恢復正常
  -

參考資料

• VMware日誌參考：

C:\ProgramData\VMware\vCenterServer\logs\vpxd-svcs\vpxd-svcs.log
C:\ProgramData\VMware\vCenterServer\logs\vmca\certificate-manager.log

• Replacing default certificates with CA signed SSL certificates in vSphere 6.x (2111219)