yarn 集羣

Hadoop 原MapReduce框架

JobClient會發送一個Job,JobTracker來管理這個Job的信息,要在哪個機器上運行,用到哪個機器的資源。還要定時向各個TaskTrack發送heartbeat,收集Job的執行情況。 JobTracker作爲MapReduce框架的核心,起到分配資源,管理Job成功失敗的作用。

TaskTracker則分佈在每個機器上,通過heartbeat向JobTracker發送Job執行情況。


缺點

1. JobTracker 分配管理所有Job,存在單點故障。

2. 太多Job的話內存開銷太大,JobTracker的資源消耗過大,所以原本的MapReduce框架最多支持4000節點。


新的MapReduce框架

JobTracker的作業分配和資源調度是分開的,資源管理交給了ResourceManager,作業分配交給了ApplicationMaster。TaskTracker演化爲NodeManager。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章