Yarn(分佈式資源管理器)和Zookeeper(分佈式協作服務)區別

Zookeeper

Zookeeper是一個分佈式協調服務(Coordination),一個leader,多個follower組成的集羣,就是爲用戶的分佈式應用程序提供協調服務。
Zookeeper是爲別的分佈式程序服務的。Zookeeper所提供的服務涵蓋:主從協調、服務器節點動態上下線、統一配置管理、分佈式共享鎖、統一名稱服務等。

 

Yarn

YARN的目標就是實現“一個集羣多個框架”,即在一個集羣上部署一個統一的資源調度管理框架YARN,在YARN之上可以部署其他各種計算框架。由YARN爲這些計算框架提供統一的資源調度管理服務,並且能夠根據各種計算框架的負載需求,調整各自佔用的資源,實現集羣資源共享和資源彈性收縮。

可以實現一個集羣上的不同應用負載混搭,有效提高了集羣的利用率。

不同計算框架可以共享底層存儲,避免了數據集跨集羣移動。

wKioL1O-VNujpZZVAAHCkb1a3G0251.jpg

上圖中的ResourceTrackeServer、ApplicationMasterService 、ClientRMServer是ResourceManager中處理上述功能的組件。

1、ResourceManager基本職能

ResourceManager基本職能概括起來就以下幾方面:

  • 與客戶端(Application Client)進行交互,處理來自於客戶端的請求,如查詢應用的運行情況等。

  • 啓動和管理各個應用的ApplicationMaster,並且爲ApplicationMaster申請第一個Container用於啓動和在它運行失敗時將它重新啓動。接收來自ApplicationMaster的資源申請,爲其進行分配。

  • 管理NodeManager,接收來自NodeManager的資源和節點健康情況彙報,並向NodeManager下達管理資源命令,例如kill掉某個container。

總結

YARN相當於政府,負責管理機器資源的分配,有困難找政府,政府安排人力物力來解決你的問題。這個纔是你說的管理節點。

Zookeeper相當於立法委員會,目標是提供權威的信息給這個國家所有的人。Zookeeper關注的主要是信息的一致性,管理一些需要在所有人心中保持一致的信息。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章