SparkCore

一 对比

• MapReduce :分布式框架

1.     缺点：执行速度慢
2.     IO(瓶颈）==》磁盘IO ,网络IO
3.    Shuffle机制：数据需要输出到磁盘，而且每次shuffle都需要排序操作
4.    框架机制：
5.                 只有Map 和 Reduce 两个算法，对于比较复杂的任务，需要构建多个job来执行，当存在Job依赖的时候，job之间的数据需要落盘（输出在hdfs上）

• Spark：基于内存的分布式计算框架 ==> 是一个执行引擎

1.   开发者的官博   https://databricks.com/blog（为什么这个颜色）
2.   官网：http://spark.apache.org/
3.    很好的一张图