Shark:轉換成spark作業;
Hive中SQL查詢的MapReduce作業轉化過程
Spark三種部署方式:
Standalone;Spark on Mesos(官方推薦,更好支持);Spark on YARN;
Hadoop+Storm:
Spark Straming無法實現毫秒級流計算響應;(需要Storm)
不同的計算框架統一運行在YARN中,可以帶來如下好處:
計算資源按需伸縮
不用負載應用混搭,集羣利用率高
共享底層存儲,避免數據跨集羣遷移
Shark:轉換成spark作業;
Hive中SQL查詢的MapReduce作業轉化過程
Spark三種部署方式:
Standalone;Spark on Mesos(官方推薦,更好支持);Spark on YARN;
Hadoop+Storm:
Spark Straming無法實現毫秒級流計算響應;(需要Storm)
不同的計算框架統一運行在YARN中,可以帶來如下好處:
計算資源按需伸縮
不用負載應用混搭,集羣利用率高
共享底層存儲,避免數據跨集羣遷移