很多初學Hadoop開發的同學分不清Hadoop和Spark究竟有什麼聯繫？
搞不清Hadoop和Spark是兩個獨立的框架，還是必須相互依存才能完成工作？
今天就給大家分析一下Hadoop和Spark幾點區別。
Hadoop和Spark各是什麼？
Hadoop
Hadoop是一分佈式系統基礎架構。用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。
利用集羣的威力進行高速運算和存儲。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供存儲，MapReduce爲海量的數據提供計算。
Spark
Spark 是專爲大規模數據處理而設計的快速通用的計算引擎。是類Hadoop MapReduce的通用並行框架，擁有Hadoop MapReduce所具有的優點。
Hadoop和Spark的異同大致可以分爲以下幾點
1.處理問題的層面不同
hadoop
Hadoop實質上更多是一個分佈式數據基礎設施: 它將巨大的數據集分派到一個由普通計算機組成的集羣中的多個節點進行存儲，同時還會索引和跟蹤這些數據，大幅度提升大數據處理和分析效率。
spark
Spark，是一個專門用來對那些分佈式存儲的大數據進行處理的工具，自身不會進行數據的存儲。
2.即可搭配工作，也可獨立運行
hadoop
Hadoop可以獨立完成數據的存儲和處理工作，因爲其除了提供HDFS分佈式數據存儲功能，還提供MapReduce數據處理功能。
spark
Spark沒有提供文件管理系統，它必須和其他的分佈式文件系統進行集成才能運作。可以選擇Hadoop的HDFS,也可以選擇其他平臺。
3.Spark數據處理速度遠超MapReduce
hadoop
Hadoop是磁盤級計算，計算時需要在磁盤中讀取數據；其採用的是MapReduce的邏輯，把數據進行切片計算用這種方式來處理大量的離線數據.
spark
Spark，它會在內存中以接近“實時”的時間完成所有的數據分析。Spark的批處理速度比MapReduce快近10倍，內存中的數據分析速度則快近100倍。
比如實時的市場活動，在線產品推薦等需要對流數據進行分析場景就要使用Spark。
4.災難恢復
hadoop
Hadoop將每次處理後的數據寫入磁盤中，對應對系統錯誤具有天生優勢。
spark
Spark的數據對象存儲在彈性分佈式數據集(RDD:)中。“這些數據對象既可放在內存，也可以放在磁盤，所以RDD也提供完整的災難恢復功能。
如何用4個月學會Hadoop開發並找到年薪25萬工作？
免費分享一套17年最新Hadoop大數據教程和100道Hadoop大數據必會面試題。
因爲鏈接經常被和諧，需要的朋友請加微信 ganshiyun666 來獲取最新下載鏈接，註明“51CTO”
教程已幫助300+人成功轉型Hadoop開發，90%起薪超過20K，工資比之前翻了一倍。
由百度Hadoop核心架構師（T7級別）親自錄製。
內容包括0基礎入門、Hadoop生態系統、真實商業項目實戰3大部分。其中商業案例可以讓你接觸真實的生產環境，訓練自己的開發能力。
