MapReduce从它名字上来看就大致可以看出个缘由,两个动词Map和Reduce,“Map(展开)”就是将一个任务分解成为多个任务,“Reduce”就是将分解后多任务处理的结果汇总起来,得出最后的分析结果。这不是什么新思想,其实它的本质就是一种“分治法”的思想,把一个巨大的任务分割成许许多多的小任务单元,最后再将每个小任务单元的结果汇总,并求得最终结果。在分布式系统中,机器集群就可以看作硬件资源池,将并行的任务拆分,然后交由每一个空闲机器资源去处理,能够极大地提高计算效率,同时这种资源无关性,对于计算集群的扩展无疑提供了最好的设计保证。任务分解处理以后,那就需要将处理以后的结果再汇总起来,这就是Reduce要做的工作。
mapreduce原理
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
VoIP工作原理及术语解释
風雨無阻827054
2019-02-23 13:14:57
linux操作系统原理
335729167
2019-02-23 13:00:11
hadoop一步步入门
lcyuanjiang
2019-02-23 13:59:15
hadoop搭建之hive安装
伊人心
2019-02-23 00:41:25
(第3篇)HDFS是什么?HDFS适合做什么?我们应该怎样操作HDFS系统?
I加加
2019-02-23 00:38:18
(第2篇)一篇文章教你轻松安装hadoop
I加加
2019-02-23 00:37:53
(第6.1篇)大数据发展背后的强力推手——HBase分布式存储系统
I加加
2019-02-23 00:37:53
(第8篇)实时可靠的开源分布式实时计算系统——Storm
I加加
2019-02-23 00:37:53
(第7篇)灵活易用易维护的hadoop数据仓库工具——Hive
I加加
2019-02-23 00:37:51
(第4篇)hadoop之魂--mapreduce计算框架,让收集的数据产生价值
I加加
2019-02-23 00:37:51
(第1篇)什么是hadoop大数据?我又为什么要写这篇文章?
I加加
2019-02-23 00:37:51
(第9篇)大数据的的超级应用——数据挖掘-推荐系统
I加加
2019-02-23 00:37:50
(第5篇)避免协作冲突--简单易接入的Zookeeper
I加加
2019-02-23 00:37:50
hadoop 完全分布式搭建(带配置文件)
wangyudiwang
2019-02-23 00:37:11