Hadoop集羣搭建模式和各模式問題

分佈式集羣的通用問題

當前的HDFS和YARN都是一主多從的分佈式架構,主從節點—管理者和工作者

問題:如果主節點或是管理者宕機了。會出現什麼問題?

羣龍無首,整個集羣不可用。所以在一主多從的架構中都會有一個通用的問題:

當集羣中的主節點宕機之後,整個集羣不可用。這個現象叫做:單點故障。SPOF

單點故障講述的概念有兩點
1、如果說宕機的那個節點是從節點,那麼整個集羣能夠繼續運行,並且對外提供正常的服務。

2、如果說宕機的那個節點是主節點,那麼整個集羣就處於宕機狀態。

通用的解決方案:高可用

概念:當正在對外提供服務器的主從節點宕機,那麼備用的主節點立馬上位對外提供服務。無縫的瞬時切換。

集羣的搭建的集中通用模式

1、單機模式

表示所有的分佈式系統都是單機的。

2、僞分佈式模式(搭建在了只有一個節點的集羣中)

表示集羣中的所有角色都分配給了一個節點。

表示整個集羣被安裝在了只有一個節點的集羣中的。

主要用於做快速使用,去模擬分佈式的效果。

3、分佈式模式

表示集羣中的節點會被分配成很多種角色,分散在整個集羣中。

主要用於學習測試等等一些場景中。

4、高可用模式

表示整個集羣中的主節點會有多個

注意區分:能夠對外提供服務的主節點還是隻有一個。其他的主節點全部處於一個熱備的狀態。

正在對外提供服務的主節點:active 有且僅有一個

熱備的主節點:standby 可以有多個

工作模式:1、在任意時刻,只有一個主節點是active的,active的主節點對外提供服務

2、在任意時刻,都應至少有一個standby的主節點,等待active的宕機來進行接替

架構模式:就是爲了解決分佈式集羣中的通用問題SPOF

不管是分佈式架構還是高可用架構,都存在一個問題:主從結構—從節點數量太多了。最直觀的的問題:造成主節點的工作壓力過載,主節點會宕機,當前的這種現象是一種死循環

5、聯邦模式

表示當前集羣中的主從節點都可以有很多個。

1)主節點:可以有很多個的意思是說:同時對外提供服務的主節點有很多個。

重點:每一個主節點都是用來管理整個集羣中的一部分

2)從節點:一定會有很多個。

在聯邦模式下還是會有問題:

雖然這個集羣中的一個主節點的壓力被分攤到了多個主節點。但是這個多個主節點依然會有一個問題:SOFP

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章