大數據分佈式存儲的部署模式：分離式or超融合

大數據分佈式存儲的部署模式：分離式or超融合
數據中心內部系統的核心要求是“穩定可靠”，一是指系統在運行過程中有能力提供連續可靠的服務，長時間無故障運行；二是指當故障發生之後，有能力快速定位，及時排查，故障範圍不蔓延。
分離式部署的方式，使得系統與雲平臺系統相獨立，避免了計算和存儲爭搶CPU/內存/網絡等物理資源，一旦某一方資源需求驟升導致的另一方資源枯竭，從而影響性能並在整個基礎架構中產生的漣漪效應；和在超融合部署方式在集羣規模較大後，網絡、硬盤、服務器發生故障的概率都會增大；以及數據重刪、壓縮、加密糾刪碼等功能、故障的自修復和數據功能實現都會消耗一定的系統資源，導致性能下降和抖動等問題。
分離式部署相比超融合方式的優點：
如此觀點如果不是出自某廠家或者供應商，也太偏頗了。我覺得簡單看兩種技術適合不同規模，中小規模（包括平臺規模，也包括人力資源規模）下超融合優勢明顯，大規模分佈式存儲優勢更大。良好的設計，恰當的平衡纔是關鍵，沒有一邊倒的絕對優勢。
建議採用超融合式部署模式。
1、從成本上講，超融合式每個服務器既可以做計算資源，又可以做存儲資源，性價比最高。
2、從性能上講，分佈式存系統，一般只佔用服務器資源的10%左右，還有90%的性能可以使用。而且目前X86服務器的CPU性能越來越高，如果閒置不用，比較可惜，利用率太低。
3、從管理上講，每臺X86物理設備都一樣，方便橫向擴展和管理，每增加一個節點，就同時增加了計算資源和存儲資源，有利於管理。目前，百度和阿里的雲數據中心基本都是這麼做的。
一、 超融合的概念
超融合(Hyper- Converged)目前還沒有一個嚴格的標準定義， 各個廠商和機構都有各自的定義，這也說明超融合仍然處於快速發展演變當中，並未形成統一的標準規範。 超融合中“超”對應英文“Hyper”，特指虛擬化，對應虛擬化計算架構，如 KVM、XEN、Hyper-V 等。這一概念最早源自 Nutanix 等存儲 廠商將 Google/Facebook 等互聯網廠商採用的計算存儲融合架構用於 虛擬化環境，爲企業客戶提供一種基於 X86 硬件平臺的計算存儲融 合產品或解決方案。按照這個概念，數據庫一體機和大數據一體機都 不能爲超融合的範疇，因爲RAC/Hadoop等應用並非運行在虛擬機 之上。此外，超融合架構中最根本的變化是存儲，由原先的集中共享 式存儲(SAN/NAS)轉向軟件定義存儲，特別是分佈式存儲。
超融合中的“融合”是指計算和存儲部署在同一個節點上，同時提供計算和存儲能力。融合一般可以分爲物理融合和超融合兩種，超融 合是融合的一個子集。物理融合系統中，計算和存儲仍然可以是兩個 獨立的組件，沒有直接的相互依賴關係，共享主機的物理資源。超融 合與物理融合不同在於，重點以虛擬化計算爲中心，計算和存儲緊密 相關，存儲由控制器虛擬機(Controller VM，CVM)而非物理機來控 制並將分散的存儲資源形成統一的存儲池，用於創建用戶的應用虛擬機。物理融合與超融合對比如所示。出於性能考慮，超融合架構通常 都需要將主機物理設備透傳(Pass Through)給控制器虛機 CVM。
超融合架構是基於標準通用的硬件
平臺，通過軟件定義實現計算、存儲、網絡融合，實現以虛擬化爲中 心的軟件定義數據中心的技術架構。要判斷一套系統是否採用超融合 架構，主要基於以下幾點:
(1) 完全軟件定義。獨立於硬件，採用商業通用標準硬件平臺(如 X86)，完全採用軟件實現計算、存儲、網絡等功能。
(2) 完全虛擬化。以虛擬化計算爲中心，計算、存儲、網絡均由 虛擬化引擎統一管理和調度，軟件定義存儲由虛擬機控制器 CVM 進 行管理。
(3) 完全分佈式。橫向擴展的分佈式系統，計算、存儲、網絡按 需進行動態擴展，系統不存在單點故障，採用分佈式存儲。
二、 超融合架構發展情況和案例
未來 5 至 10 年新一代數據中心基礎架構朝着軟件定義和超融合 方向發展，SAN/NAS 存儲逐漸被軟件定義的存儲所替代。在軟件定 義存儲(SDS)的推動下，超融合將成爲數據中心基礎架構的核心， 並且是軟件定義數據中心(SDDC)的未來技術發展趨勢。基於多種 複雜設備的數據中心最終會歸一化成以通用服務器加互連網絡的體 系架構。在這些通用服務器上部署關鍵的軟件，通過虛擬化的方式實 現計算、存儲資源。然後再在這些虛擬化資源的基礎上部署應用，完 成具體功能。
存儲、計算和網絡的深度融合是未來IT基礎設施發展的大趨勢， 超融合架構因此成爲企業級客戶的首選，加速業務系統從傳統架構向 雲計算架構的轉型。IDC 的統計報告顯示，2016 年全球超融合市場規 模預計將增長 94%。另一家市場分析公司 Gartner 預計，2019 年全球 超融合市場的規模將超過 1000 億美元，有大約 30%安裝在企業數據 中心內的存儲陣列都將是部署在軟件定義存儲或者基於 x86 硬件系 統的超融合集成系統架構。
2016 年以來，中國超融合市場持續升溫，越來越多的超融合團隊 逐漸發展起來。根據市場研究和諮詢公司 Gartner 在 2016 年 11 月針 對中國超融合市場趨勢發佈的報告，思科、HP、Dell、EMC、NetApp 等老牌服務器和存儲大廠紛紛將技術與產品戰略轉向超融合的路線 上來。報告指出，中國一躍成爲全球超融合基礎架構增速最快的市場，
國內的 H3C、華爲、Nutanix、聯想、SmartX、深信服等廠商迅速跟 進了國際主流超融合解決方案。
目前超融合架構在國內的主要應用案例如下：
政府相關機構：中國檢查出版社，中國證監會，中國互聯網信息 中心，中國大連市政府，青海水利，廣州地稅局數據庫虛擬化，國家衛計委雲數據中心，湖北省公安廳審計平臺，廈門公安局警務雲平臺， 最高法司法統計管理平臺，深圳海關業務系統，廣東海事局智慧海事 平臺，中國(西安)絲綢之路研究院，溫州醫科大學第一附屬醫院等。
金融行業：招商銀行，中銀證券，南京證券，中信銀行等。 製造行業：東風本田，寶山鋼鐵，中鐵資源集團有限公司等。 IT 企業：科陸電子，聯想集團，中國聯通沃雲，中國電信等。 教育行業：中國地質大學，中國科技大學，南開大學，北京郵電大學，北京外交學院，陝西省行政學院等。
三、 超融合架構的優勢
超融合架構迅速發展的原因是其具有顯着的優勢，能夠帶來極高 的客戶價值。超融合架構實現了計算、存儲、網絡等資源的統一管理 和調度，具有更彈性的橫向擴展能力，可以爲數據中心帶來最優的效 率、靈活性、規模、成本和數據保護。使用計算存儲超融合的一體化 平臺，替代了傳統的服務器加集中式存儲的架構，使得整個架構更清 晰簡單，極大簡化了複雜 IT 系統的設計。
超融合架構關鍵特徵之一就是易於擴展，最小部署，按需擴容。 超融合廠商宣稱最大集羣規模也差別很大，從數十到數千節點不等， 通常從 3 節點起配。超融合中計算能力、存儲性能和容量是同步擴容 的，無法滿足現實中單項能力的擴展，有些廠商還對擴容最小單元有 要求，擴展靈活性會受到限制。
集羣達到一定規模後，系統架構複雜性就會非線性增加，集羣管 理變的更加困難，硬件故障和自修復發生的概率也會大大增加。因此， 超融合架構一般不建議構建大集羣，如果業務允許儘量構建多個適當 規模的較小集羣，或者採用大集羣中構建故障域或子資源池的方式。
物理設備透傳給控制虛機，增加了部署配置管理的複雜性。計算和存 儲對硬件平臺的要求都不同，融合後也會一定程度上增加兼容性驗證的複雜性。超融合架構下，管理、計算、存儲、高可用通常都需要配置獨立的虛擬網絡，網絡配置也會更加複雜。同時，共享物理資源的 分配、隔離、調度，這也是額外增加的複雜性。如果出現故障，問題的跟蹤調試和分析診斷也變得更加困難。
超融合架構下的存儲邏輯單元已經擁有了很多過去高級存儲才具備的功能，但是在數據保護，複製，容災，高可用，這些關係到數據存儲層面的需求是超融合廠商不會花精力去關注也無法關注的，同時架構本身的侷限性帶來的用戶選擇面也比較窄，你無法把超大規模的計算中心全部塞滿超融合架構，用戶對於結構化和非結構化數據的海量增長這種數據存儲的異構需求不適合全部交給超融合來解決，很多用戶原本希望計算跟存儲分佈擴容，或者計算跟存儲佔比比較失衡的情況，比如計算資源需求很大，存儲資源需求很小，或者相反的情況全部交給超融合，這樣一股腦全部交給超融合的架構設計是相當糟糕的。