tez on yarn

Tez

  Tez俗称DAG计算,多个计算作业之间存在依赖关系,并形成一个依赖关系的有向图。

  Tez是运行在Yarn上的DAG,动态的生成计算的关系流。

 

 

 

  如上图左所示的Top K问题,第一个Mapreduce实现wordcount的功能,第二个Mapreduce只用使用Reduce实现排序的问题,但是在Mapreduce中必须创建两个MapReduce任务,但是在Tez优化后,可以直接再第一个reduce后,不进行输出,直接输出到第二个reduce中,优化了Mapreduce.

  上图中右为一个HiveQL实现的MapReduce,mapreduce为其创建了4个mapreduce任务,使用Tez可以只使用一个Mapreduce任务。

  Tez on Yarn和,mapreduce on Yarn上的作业的流程基本一样。

  Tez的优化技术

  产生一个Mapreduce任务就提交,影响任务的效率,Tez的优化策略是创建一个ApplicationMaster的缓存池,作业提交到AMppplserver中,预先启动若干ApplicationMaster形成AM缓冲池。

  同时ApplicationMaster启动的时候也可以预先启动几个container,做为容器的缓冲池。

  此外ApplicationMaster运行完成后,不会马上注销其下的container,而是将其预先分配给正要运行的任务。

  Tez的好处就是避免产生较多的Mapreduce任务,产生不必要的网络和磁盘IO.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章