防止丟失，以作記錄。侵權聯刪。
參考：https://new.qq.com/omn/20180717/20180717G0AUBL.html
一、背景簡介
1、簡單介紹vsphere的共享存儲背景
vSphere裏面有個重要的功能就是進行虛擬機封裝，一個虛擬機以文件的形式存在，可以任意拷貝，比如.vmx虛擬機配置文件，vmdk數據文件等
vSphere下還有個集羣的概念，一個集羣視爲一個資源池，搭配很多vSphere的高級特性，業務可以在集羣中任意主機上，不必擔心單主機故障
如下圖所示，vSphere的故障恢復機制 HA,可以將故障主機上的虛擬機遷移到其他主機運行。
但是這個特性有個前提是共享存儲，一個存儲可以被多個服務器同時連接，同時讀取數據，任意節點故障，數據不受影響，進而其他服務器可以使用這些數據快速恢復業務。
雙機頭冗餘存儲如下：
2、簡單對比共享存儲與分佈式存儲
本地存儲一向以可靠性高、穩定性好，功能豐富而著稱，但存儲擴展性差、價格貴，數據連通困難等問題，容易形成數據孤島，導致數據中心管理和維護居高不下
分佈式存儲：將數據分散存儲在網絡上的多臺獨立設備上，一般採用標準x86服務器和網絡互聯，並在其上運行相關存儲軟件，比如vSAN，系統對外作爲一個整體提供存儲服務
二、vSAN簡介
1、官方介紹
什麼是vSAN可以理解爲軟件定義的基於服務器集羣搭建的分佈式存儲。
存儲的管理程序是軟件實現，只有軟件才能做到開發、靈活、快速，適應企業對於存儲的種種需求，分佈式可以將數據、IO訪問分散到多個節點，讓整個存儲系統隨着節點的增多容量和性能線性增加。
圖示如下：
VMware vSAN 聚合本地本或直接連接數據存儲設備，並創建在vSAN集羣的所有主機之間共享的單個存儲池。vSAN消除了對外部共享存儲的需求，並簡化了存儲配置和虛擬機配置。
vSAN是ESXi虛擬機管理程序中包含的分佈式軟件層，它與VMware vSphere完全集成。vSAN支持需要共享存儲的vSphere功能，例如高可用性（HA），vMotion和分佈式資源調度程序（DRS）。VM存儲策略使您可以定義虛擬機存儲要求和功能。
vSAN羣集中的每個主機都可以爲羣集提供存儲。這些存儲設備組合在一起以創建單個vSAN數據存儲。混合vSAN集羣使用閃存設備作爲緩存層，磁驅動器使用容量層。全閃存vSAN羣集將閃存設備用於緩存層和容量層。該體系結構創建了專爲虛擬環境設計的閃存優化，彈性共享數據存儲。
2、vSAN概念
軟件定義存儲的一個關鍵要素時基於存儲策略的管理（storage policy-based manage-ment，SPBM），這時vSAN特性之一，通過SPBM和vsphere API，底層存儲技術表現爲一個具有多種功能的抽象化的存儲空間池，並展現給管理員用於部署。
可以配置混合集羣或全閃集羣，混合集羣中，閃存用於緩存，磁盤用於容量，全閃集羣中，閃存同時用於緩存和容量。 （緩存和容量組合讓存儲性能更佳，全閃沒得說更快）
本地存儲設備，必須至少一個閃存緩存設備和一個容量設備
每臺節點都需要提供存儲資源、訪問資源及管理程序
一般需要萬兆以太網交換機
主機上的設備將構成一個或多個磁盤組，每個磁盤組包含一個閃存緩存設備，及一個或多個持久化存儲容量設備。每個主機上可以配置多個磁盤組
3、vSAN功能和特性
特性：
內置在vsphere內核中，vSAN在vSphere內核內部實現，與vSphere無縫集成，可幫助優化性能和可靠性
讀/寫（I/O）緩存，vSAN通過服務器端閃存中內置緩存，加快讀/寫磁盤I/O的速度，將存儲延遲降到最低程度
內置故障保護，該技術利用分佈式RAID和緩存鏡像確保磁盤、主機或網絡發送故障時絕不丟失數據
無中斷容量可擴展性，可以通過爲集羣添加主機或爲主機添加磁盤，輕鬆地無中斷擴展vSAN數據容量
以虛擬機爲中心的基於策略的管理，該解決方案採用可自動轉換爲系統配置的策略語句降存儲要求與各個虛擬機或虛擬磁盤關聯起來，採用該方法，IT任意可以立即調配存儲以嚴格遵守服務級別協議（service-level agreement，SLA）。
自行調節存儲和動態存儲負載平衡，vSAN自動無中斷地保持爲每個虛擬機指定的存儲容量、性能和可用性級別，該技術可以與VMware vSphere Distributed Resource Scheduler進行互操作，實現端到端的技術和存儲負載均衡。
與vSphere數據服務集成,該解決方案利用vSphere快照、克隆、VMware vSphere Data Protection和vSphere Replication，跨集羣或站點提供數據保護、備份、快速克隆和數據傳參以便進行容災恢復
與vSphere web client集成
廣泛的硬件兼容性
與HORIZON VIEW 和VMware vCenter site Recovery Manager互操作，該解決方案可以與 horizon view一起部署在虛擬桌面基礎架構（VDI）環境中，與vCenter Site Recovery Manager 一起部署在災難恢復環境中
功能：
共享存儲支持，vSAN支持需要共享存儲的VMware功能，如HA、vMotion和DRS，例如，如果某個主機過載，DRS可降虛擬機遷移到集羣中的其他主機上
完全磁盤簇（JBOB），支持在刀片服務器環境中使用JBOB，如果您集羣包含刀片服務器，您可以用連接到刀片服務器的JBOB存儲來擴展數據存儲容量
全閃和混合配置
磁盤格式，vSAN6.6支持磁盤虛擬文件格式5.0，該格式按vSAN集羣提供高度擴展的快照和克隆管理支持
故障域，vSAN支持配置故障域，當vSAN羣集闊玥數據中心的多個機架或刀片服務器機箱時，可以防止主機出現機架或機箱故障
延伸羣集，vSAN支持延伸集羣，這類集羣可以跨兩個地址位置
vSAN Health Service，包含一些預配置的運行狀況檢查測試，可以執行健康和故障排除並診斷集羣組件出現問題的原因，還可以識別任何潛在風險
vSAN 性能服務，包含用於監控IOPS、吞吐量、延遲和擁堵的統計圖表。可以監控vSAN集羣、主機、磁盤組、磁盤和虛擬機性能
與vSphere存儲功能集成，通常用於VMFS和NFS存儲的vSphere數據管理功能相集成，這些功能包括快照、鏈接克隆、vSphere Replication和vSphere APIs for data protection
虛擬機存儲策略，域虛擬機存儲策略結合使用，可支持以虛擬機爲中心的存儲管理方法，如美分配，會自動降vSAN默認存儲策略分配給虛擬機
快速置備，在創建和部署期間，vSAN可以在vCenter server中快速置備存儲
4、幾個關於vSAN名詞和術語
池化
單機內部的連接
服務器之間的連接
故障域
爲了保證數據不丟修，數據的存放位置就要一定的要求了，同一份虛擬機的同一份數據，必須保存在不同主機上
如一臺出現故障，這個時候需要仲裁機制保證只有一份數據時活動且最新的，不然會造成衝突
這個時vSAN最簡單的架構，只允許一臺主機故障，只要故障發送在一臺主機內
下面時vSAN故障域簡單示意，vSAN中有個詞叫FTT（Fault to tolerance），最大允許同時故障多少臺主機，FTT決定的時虛擬機數據保護級別，也決定了一個集羣所需的最小數量，一個集羣中主機數量》=2n+1，n=FTT的值
區分服務
可以通過存儲策略來給不同的對象區分不同的服務
例如：
虛擬機1 設置存儲策略A （FTT=1 ,不預留緩存，限制IOPS爲100）
虛擬機2 設置存儲策略B（FTT=2,預留10%的ssd緩存，不限制IOPS）
磁盤組
磁盤組是爲vSAN集羣提供性能和容量的主機和物理設備組上的物理存儲容量單元，在相vSAN集羣提供其本地設備的每個esxi主機上，設備按磁盤組形式進行組織
每個磁盤組必須具有一個閃存緩存設備和一個或多個容量設備
每個磁盤組最少一塊SSD+1~7快HDD，每臺主機不能多於5個磁盤組
用於緩存的設備不能在磁盤組之間共享，也不用於其他目的，單個緩存設備必須專用於單個磁盤組，在混合集羣中，閃存設備用於緩存層，磁盤用於存儲容量層
建議，使用多個磁盤組分散數據，因爲比如ssd故障，會導致磁盤組數據均會無法訪問，分散數據能有效減少此故障帶來的影響
所有容量
所有容量指一個或多個虛擬機隨時使用的物理容量，所用容量由多種因素決定，包括VMDK、包含副本等內容所使用的容量技術緩存大小時，不考慮用於包含副本的容量。
基於對象的存儲
1）vSAN以靈活的數據容器也就是對象形式存儲並管理數據，對象時之其數據和元數據分佈於集羣中邏輯卷，例如每個VMDK,每個快照也是一個對象，在vSAN數據存儲上置備虛擬機時，vSAN爲每個虛擬磁盤創建一組由多個組件組成的對象。
2）基於已分配的虛擬機存儲策略，vSAN單獨置備和管理每個對象，可能還設計爲每個對象創建一個RAID配置
3）在vSAN爲虛擬磁盤創建對象並確定如何在集羣中分佈對象時，將考慮以下因素：
A、vSAN確認已根據指定虛擬機存儲策略設置應用虛擬磁盤要求
B、vSAN確認使用正確的集羣資源進行置備。例如，vSAN基於保護此類確定要創建副本數量，性能策略確定爲每個副本分配Flash Read Cache量和創建的帶數，以及每個副本在集羣中的放置位置。
C、vSAN持續監控和保護虛擬磁盤的策略合規性狀態，如果發現任何不合規的策略狀態，必須進行故障排除並解決根本問題。
D、必要時，可以編輯虛擬機存儲策略設置，更改存儲策略設置不會影響虛擬機訪問，更改虛擬機存儲策略設置時，vSAN可能啓動對象重新創建過程，隨後會重新同步對象。
E、vSAN確認所需保護組件（例如鏡像和證明）位於不同的主機或容錯域上
vSAN數據存儲
1）在集羣上啓用vSAN後，將創建一個單獨的vSAN數據存儲，單個vSAN數據存儲可以爲每個虛擬機或每個虛擬機磁盤提供不同的服務級別
1）需要考慮vSAN數據存儲特定特性
A、vSAN提供羣集中所以主機（無論是否具有設備）均可訪問的單個vSAN數據存儲，每個主機均可掛載任何其他數據存儲，包括Virtual Volume、VMFS或NFS
B、可以使用Storage vMotion在vSAN數據存儲、NFS和VMFS數據存儲之間移動虛擬機
C、僅用於容量的磁盤和閃存設備可以提供數據存儲容量，用於閃存緩存的設備不計入數據存儲的一部分
D、在自動磁盤聲明模式下，當向vSAN羣集添加具有容量的主機，或者向任何羣集成員添加容量設備時，vSAN數據存儲大寫會動態增長。
對象和組件
1）每個對象由一組組件組成，例如.vmx、日誌文件、vmdk、快照增量描述文件等
2)vSAN數據存儲保護以下對象類型：
A、虛擬機主頁命令空間
所有虛擬機配置文件均存儲在虛擬機主目錄中，例如.vmx、日誌文件、vmdk（vmdk磁盤描述文件fvmdk-lag纔是磁盤文件）、快照增量描述文件等。
B、VMDK
虛擬機磁盤或.vmdk文件，用於存儲虛擬機硬盤驅動器內容。
C、虛擬機交換對象
打開虛擬機電源時創建-SWDK文件
D、快照增量VMDK
生成虛擬機快照時創建
3）vSAN組件是對象區塊，這些對象去看跨機器中的多臺主機分佈，以便容許同時發送多個故障並滿足性能要求
4）vSAN利用分佈式RAID體系機構將數據分發到整個集羣中
5）組件的分佈主要採用兩種技術：
條帶化（RAID 0）
鏡像（RAID 1）
6）創建多少組件副本基於對象策略定義決定
虛擬機合規性狀態：合規和不合規
一個過多個對象不能滿足分配的存儲策略要求時，虛擬機被視爲不合規，例如，其中要給鏡像副本無法訪問，狀態可能變得不合規，入股哦虛擬機域存儲策略中定義的要求相符，虛擬機的狀態則爲合規。在虛擬磁盤頁面的物理磁盤放置位置選項卡中，可確定虛擬機對象的合規性狀態
組件狀態：已降級和不存在狀態
已降級，如果檢查到永久故障，並確定無法恢復到原始工作狀態，則該組件將處於已降級狀態。
不存在，vSAN檢查到臨時組建故障，其中組件及其素有數據可以恢復且vSAN能夠恢復其原始狀態，則該組件處於不存在狀態，重新啓動主機或從vSAN主機拔出設備時可能出現，等待60分鐘後，vSAN將重新構建處於不存在的狀態組件
對象狀態：正常和不正常
根據集羣中出現的故障類型和數量，對象可能處於以下狀態之一：
正常，當至少要給RAID1鏡像可用或者最低所需數據段數可用是，則認爲對象處於正常狀態。
不正常，如果沒有可用的完整鏡像，或者RAID5或RAID6對象不滿足數據段最低數量要求，則該對象將被視爲不正常。如果對象的投票數少於50%，則該對象不正常，如果羣集中出現多個故障，則可能導致對象不正常，會影響虛擬機的可用性
證明
一個僅包含元數據的組件，不包含任何實際應用程序數據，如果發送潛在故障，則在需要確定正常的數據存儲組件的可用性時，可將其用做te breaker。如果使用磁盤格式1.0，則見證在vSAN數據存儲中佔用覺2mb空間存放元數，二如果使用2.0或更高，則會佔用4mb空間
6.0及更高會通過要給非對此投票系統來保持仲裁，其中，每個組件可能使用多個投票來決定對象的可用性，構成虛擬機存儲對象的投票中超過50%，則vSAN數據存儲將無法在訪問該對象，無法訪問的對象可能會影響相關虛擬機的可用性
條帶化
是自動將I/O的負載均衡到多個物理磁盤上的技術，條帶化技術就是將一塊連續的數據分成很多小部分並把他們分佈存儲到不同磁盤上去，這就能使多個進程同時訪問數據的多個不同部分而不會造成磁盤重讀，而且在需要對這種數據進行順序訪問的時候可以獲得最大成都的I/O並行能力，從而獲得非常好的性能，
圖例如下：
每個對象的磁盤條帶數
存儲對象的每個副本所跨的硬盤數
基於存儲策略的管理（SPBM）
使用vSAN時，可以採用策略形式定義虛擬機的存儲要求，例如性能和可能性，vSAN可確保爲已部署到vSAN數據存儲的虛擬機至少分配一個虛擬機存儲策略，當您瞭解虛擬機的存儲要求時，可以定義存儲策略並將其分配給虛擬機，如果部署虛擬機時不應用存儲策略，vSAN將自動分配默認vSAN策略，其中允許的故障數主要級別配置爲1，每個對象一個磁盤帶，並具有一個精簡置備虛擬磁盤，爲獲得最佳效果，應定義您自己的虛擬機存儲策略，即使您的策略要求於默認存儲策略中定義的相同
ruby vSphere 控制檯（RVC）
RVC,提供用於管理和故障排除vSAN羣集的命令行界面，RVC可提供集羣範圍的試圖，而不是esxcli提供的以主機爲中心的試圖，與vcsa捆綁不需要單獨安裝
vSphere PowerCLI
增加了vSAN的命令行腳本支持，有助於自動化完成配置及管理任務
vSAN Observer
是在RVCS上允許的基於web 的工具，可用於進行升入的性能分析和vSAN羣集監控，使用vSAN Observer可查看容量層的性能統計信息、物理磁盤組的統計信息、CPU的當前負載、vSAN內存池的使用情況以及內存對象在vSAN羣集間的分佈情況
5、vSAN核心思想
提高現有資源的利用率
降低運維成本
提高硬件和應用程序的可用性
實現運維靈活性
提高桌面的可管理性和安全性
6、通過vsphere web client實現的主要功能
vMotion，DRS、HA等高級功能都是基於這一技術
DRS動態資源分配技術，使得多臺物理服務器中運行的虛擬機可以實現負載均衡，當檢測到某臺服務器負載臨近閾值時，就可以通過vMotion技術進行在線遷移。
DPM分佈式電源管理可以結合DRS功能，將多個負載較低的虛擬機集中到少數物理服務器上，把無用的關機，從而節省電力，負載增加時，對沒有使用的物理服務器加電開機，在通過DRS實現負載均衡。
storage vMotion存儲在線遷移技術，允許正在運行的虛擬機存儲資源從一個存儲設備遷移到另一個存儲設備
data protection 數據保護功能，可以對虛擬機進行備份
高可用性，當一臺物理服務器出現故障時，可以將受影響的虛擬機遷移到其他服務器上
FT容錯，運行在不同物理服務器上運行兩臺完全一樣的虛擬機，提供最高等級的冗餘性，即使一臺物理服務器發生故障也不會終端業務運行
replication，可以複製虛擬機的所有鏡像到另一個站點，進行容災恢復，保證數據安全