YARN概念:是hadoop的資源管理和任務調度的分佈式框架
主節點ResourceManager:
- 管理整個集羣的資源(CPU和內存)
- 接收Client提交的應用
從節點NodeManager：
- 每個節點的資源管理(CPU和內存)
運行在YARN集羣上的每個應用，YARN會爲之啓動對應的應用管理者ApplicationMaster,用於管理這個應用的運行情況
- 應用中Task資源申請
- 監控Task運行狀況
- Task運行失敗需要進行調度和處理
YARN服務功能
ResourceManager,簡稱RM
- 處理客戶端請求
- 啓動並監控ApplicationMaster
- 監控NodeManager
- 資源分配與調度
ApplicationMaster，簡稱AM
- 數據切分
- 爲應用程序申請資源並分配內部任務
- 任務監控與容錯
NodeManager
- 單個節點的資源管理
- 處理來自RM的命令
- 處理來自AM的命令
Container
- 任務運行環境容器：封裝了CPU、內存等多維資源、環境變量、啓動命令等任務運行相關的信息