Hadoop 原MapReduce框架
JobClient會發送一個Job,JobTracker來管理這個Job的信息,要在哪個機器上運行,用到哪個機器的資源。還要定時向各個TaskTrack發送heartbeat,收集Job的執行情況。 JobTracker作爲MapReduce框架的核心,起到分配資源,管理Job成功失敗的作用。
TaskTracker則分佈在每個機器上,通過heartbeat向JobTracker發送Job執行情況。
缺點
1. JobTracker 分配管理所有Job,存在單點故障。
2. 太多Job的話內存開銷太大,JobTracker的資源消耗過大,所以原本的MapReduce框架最多支持4000節點。
新的MapReduce框架
JobTracker的作業分配和資源調度是分開的,資源管理交給了ResourceManager,作業分配交給了ApplicationMaster。TaskTracker演化爲NodeManager。