“超融合”這個概念，可以簡單理解爲：將虛擬計算平臺和存儲融合到一起，將每臺服務器裏面自帶的硬盤組成存儲池，以虛擬化的形式提供數據中心所需要的計算、網絡、安全以及存儲等IT基礎架構。在這裏，也講解一下超融合相對於傳統虛擬化方案的優勢。橫向與縱向的擴展性
顧名思義，橫向擴展就是當發現存儲和計算資源不夠用了，按需添加服務器即可。比如，當用戶的共享存儲寫滿了，用戶不得不花大價錢去購買一個新的存儲機櫃，然而此時存儲機櫃的資源利用率是很低的。而使用超融合方案的用戶，他們只需要投入較少的費用去購買一個新的服務器加入集羣，即可擴展存儲空間。
便捷提供多副本，提高數據安全
超融合方案可便捷支持2-3個副本。當某些服務器損壞時，若採用超融合方案，所需要的數據還會存在對應的副本里，工作還能正常進行。而對比於傳統的共享存儲，用戶想做兩個副本時，只好硬着頭皮再買一個一模一樣的存儲設備做備份，增加了不少IT投資。
分佈式存儲，拉近計算和存儲的距離
傳統的共享存儲在數據讀寫時，都需要通過網線或光纖進行數據傳輸。而超融合分佈式的存儲在讀數據的時候，基本都是直接讀取本地的副本數據，減少數據流經網線或光纖的時間，加快數據讀取速度。
軟硬件一體化，省錢省力省心
超融合方案所支持的軟硬件一體化，即用戶可以一次性輕鬆地把雲數據中心部署好，其中包括服務器、服務器虛擬化、存儲虛擬化等虛擬化軟件。對比不少用戶會分開購買硬件和軟件，採購成本較高。同時，軟硬件一體機在出廠時已將軟件植入到硬件當中，並且已經通過兼容測試，用戶可直接架到機房，通電並簡單配置即可使用。
總結超融合特點及優勢：
• 去中心化：沒有專門的控制節點，無需考慮控制節點的單點問題。
• 去集中存儲：傳統的私有云集羣架構，保障可用性是以共享存儲方式實現的。但共享存儲本身就是單點，雖然可以以多磁盤冗餘已經雙控制器的方式提高可用性，但仍然存在IO集中、性能無法提升的困境。
• 更低的建設成本：去掉昂貴的中心化存儲，磁盤分佈到本地物理服務器，投資成本大幅度降低。
• 在線擴容：不停止服務，對物理機配件（內存、cpu等）進行擴容，甚至新增物理節點。
PVE集羣搭建過程簡述：（3個結點PVE1-PVE3:192.168.26.210-212)
1、安裝下載pve官方ISO鏡像安裝即可，操作很簡單跟着提示下一步即可（如果有特別的存儲配置注意安裝的時候配置下,也可以後期再進行設置不過相對可能要繁瑣些）
安裝成功後使用瀏覽器WEB登陸效果：
2、登陸(通過ssh)三個結點更新源及系統。
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade
3、開始創建集羣在pve1上執行root@pve1:~# pvecm create pve-cluster
4、在pve2上執行root@pve2:~# pvecm add 192.168.26.210注意需要輸入密碼認證。
5、同樣在PVE3結點上執行命令root@pve3:~# pvecm add 192.168.26.210同樣需要輸入密碼認證
6、集羣成功創建查看集羣狀態：三個結點任一一個上面都可以。
root@pve1:~# pvecm status
再切換一個結點試下查看狀態
root@pve2:~# pvecm status
7、回到WEB管理臺發現三個結點都已經出現了（集中中任一結點都可以）
8、爲集羣建立可靠的存儲（Ceph存儲，注意三個集羣結點都需要執行）
root@pve3:~# pveceph install --version luminous
9、初始化存儲集羣網絡段，以便進行通信，注意需要和PVE集羣同網段，否則會報錯(只需在PVE1結點上執行一次即可）：
root@pve1:~# pveceph init --network 192.168.33.0/24
No active IP found for the requested ceph public network '192.168.33.0/24' on node 'pve1'
換成同網段：
root@pve1:~# pveceph init --network 192.168.26.0/22
10、創建ceph集羣存儲Mon監控（三個結點都需要，不然高可用都無效，實測有結點故障時會一直卡住，至到MON結點恢復）
11、創建ceph集羣存儲mgr(Creating Ceph Manager)同樣需要三個結點都安裝不然無法實現高可用。
pveceph createmgr #但提示已經存在，原因是安裝監控MON的時候自動已經安裝上了。
12、創建Ceph OSDs（Creating Ceph OSDs）同樣三個結點都需要執行一樣操作。
13、創建集羣存儲資源池（Creating Ceph Pools）此操作只需要任一結點上執行即可。
root@pve1:~# ceph osd pool create pvepool 128 128
此時查看下存儲集羣狀態ceph -s
有報警：ceph:health_warn clock skew detected on mon的解決辦法
造成集羣狀態health_warn：clock skew detected on mon節點的原因一般有兩個，一個是mon節點上ntp服務器未啓動，另一個是ceph設置的mon的時間偏差閾值比較小。排查時也應遵循先第一個原因，後第二個原因的方式。
修改時間偏差閾值（記得重啓服務）
# vi ceph.conf
在global字段下添加：
mon clock drift allowed = 2 mon clock drift warn backoff = 30
# ceph -s
顯示health_ok說明問題解決
14、添加RBD集羣存儲（打開瀏覽器登陸WEB控制檯配置）
注意選擇使用超融合CEPH池。
查看rbd集羣存儲配置信息
15、測試創建虛擬服務器PVE1上
安裝CENTOS6.6
pve3安裝XP
關閉其它節點（節點1）不影響安裝操作
測試高可用：先配置
測試：PVE3關機後收到報警（安裝的時候配置了郵件地址的）
過兩分鐘還會收到一封郵件：提示故障已經成功轉移。
虛擬服務器已經轉移
看下WEB平臺瀏覽的狀態：
我們恢復PVE3.
恢復後自動遷移回去了，因爲其權重高些(生產環環境不建議直接又回切，根據需要配置）。
Proxmox中克隆虛擬服務器
Proxmox中遷移虛擬服務器（pve3到pve1)
配置spice模擬終端登陸(實現可以直接使用終端設置聯接操作虛擬機實現雲桌面）：
配置文件中添加內容：args: -spice port=61001,disable-ticketing,seamless-migration=on
啓動102 虛擬服務器qm start 102（這裏通過命令啓動的）也可以通過WEB控制檯效果一樣。
啓動後發現多開放了一個端口，配置終端機聯接此端口即可聯接操作服務器。這裏通過VirtViewer軟件模擬登陸。
換臺服務器再試（linux)：
同樣需要修改配置文件：
root@pve3:~# cat /etc/pve/qemu-server/101.conf
bootdisk: sata2
cores: 1
ide2: none,media=cdrom
memory: 1024
name: Centos6.6
net0: e1000=26:24:01:00:69:7D,bridge=vmbr0
numa: 0
ostype: l26
sata2: ceph:vm-101-disk-0,size=20G
scsihw: virtio-scsi-pci
smbios1: uuid=73100396-3804-4002-815b-4017d81199a9
sockets: 1
vmgenid: bb0d8fc0-a6c7-4283-81f3-6766c4f150a2
args: -spice port=61002,disable-ticketing,seamless-migration=on
保存退出啓動虛擬服務器
聯接效果：
需要說明的是終端聯接的是平臺服務器IP加上端口，是基於端口的應用，而我們聯上服務器後配置的虛擬服務器上網用的IP地址，因此不要混了，即使我們把網卡禁用了通過終端還是能聯接的，只是服務器不能上外網絡（和其它服務器通信）看下圖片中效果，和我們平常開啓遠程訪問是有區別的。
cd
功能效果暫時展示到這，其它功能及補充後續文章再完善，好久沒寫文了，草文堆了一大堆。
參考：https://pve.proxmox.com/pve-docs/chapter-pveceph.html