Google提出了一个令人兴奋的架构。MapReduce把任务分解成小任务，这些小任务可以在普通PC集群上并行执行。这种架构的一种开源实现是yahoo!的hadoop。目前国内在用此架构的公司为百度，淘宝，腾讯等，国外Amazon,Facebook,New York Times等已在使用。
目前，很多internet服务都具有上百万的用户。这些服务产生海量的数据，如何针对海量数据进行分析和处理是目前亟待解决的问题。
Google提出了一个令人兴奋的架构。MapReduce把任务分解成小任务，这些小任务可以在普通PC集群上并行执行。这种架构的一种开源实现是yahoo!的hadoop。目前国内在用此架构的公司为百度，淘宝，腾讯等，国外Amazon,Facebook,New York Times等已在使用。
MapReduce带来的关键性好处是它自动处理错误的能力。如果集群中的一个节点宕机，MapReduce讲在另外一台机器上执行任务。如果一台在执行任务的机器处理速度很慢，成为整个任务traggler，将会在另外一台机器上运行任务副本backup task，这就是推测执行。推测执行可以提高任务44%的速度。
推测执行不是没有代价的。
1. 对比各种资源，如网络
2. 选择哪个节点来执行任务副本
3. Straggler与平均速度的对比是苦难的
Hadoop采用master/slaves的结构。出入文件存在于分布式文件系统中。Hadoop把每个job分为多个tasks，每个输入首先被用户定义的map函数map task进行处理，输出一系列key-value中间结果。当map任务结束后，执行reduce task。Slaves通过‘心跳‘机制来告知master自己是否有空闲，如果有，则会被分配一个task。这里对“心跳机制”进行简单的介绍：
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，而datanode/tasktracker属于slaves。master只有一个，而slaves有多个。
namenode与datanode之间的通信，jobtracker与tasktracker直接的通信，都是通过“心跳”完成的。
心跳的机制大概是这样的：
1) master启动的时候，会开一个ipc server在那里。
2) slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。
Hadoop的调度：
总体思路---
a. 选定推测执行任务
b. 选择能快速执行的节点
c. 设置最高时限，防止超负荷
推测执行的目标是最小化job的响应时间。响应时间对那些短任务特别重要。
如果有节点有空的task可以执行，则从以下三种类型来选择一个task来分配
a. 失败的任务，给予更高的优先级
b. 为被调度安排的任务
c. 需要推测执行的任务