Spark和Flink的對比(誰是下一代大數據流計算引擎?)

最近也是有很多同學問我spark和flink到底誰好,應該怎麼選擇,這也是近年來被問的最多的問題,也是經常被拿來比較的,今天就簡單的做一個對比,我沒有要挑起spark和flink之間的戰爭,社區間取長補短也好,互相抄襲也罷,我儘量站在一個公平的角度對待他們.下面會從多個方面對兩者進行分析(當然有不全面),希望對大家有所幫助.篇幅較長,望大家耐心閱讀.

Spark簡介

Spark的歷史比較悠久,已經發展了很長時間,目前在大數據領域也有了一定的地位.Spark是Apache的一個頂級項目。它是一種快速的、輕量級、基於內存、分佈式迭代計算的大數據處理框架。,Spark最初由美國加州伯克利大學(UCBerkeley)的AMP(Algorithms,Machines and People)實驗室與2009年開發,是基於內存計算的大數據並行計算框架,可用於構建大型的、低延遲的數據分析應用程序。2003年加入Apache孵化器項目後的到迅猛的發展,如今已成爲Apache的頂級項目。

Flink簡介

Flink出來的時間比較晚,可以說是大數據流計算的新貴,但是發展速度很快,勁頭不容小覷,到2016年的時候才嶄露頭角,Stratosphere 項目最早在 2010 年 12 月由德國柏林理工大學教授 Volker Markl 發起,主要開發人員包括 Stephan Ewen、Fabian Hueske。Stratosphere 是以 MapReduce 爲超越目標的系統,同時期有加州大學伯克利 AMP 實驗室的 Spark。相對於 Spark,Stratosphere 是個徹底失敗的項目。其實剛開始的時候Flink也是做批處理的,但是當時,spark已經在批處理領域有所建樹,所以Flink決定放棄批處理,直接在流處理方面發力.所以 Volker Markl 教授參考了谷歌的流計算最新論文 MillWheel,決定以流計算爲基礎,開發一個流批結合的分佈式流計算引擎 Flink。Flink 於 2014 年 3 月進入 Apache 孵化器並於 2014 年 11 月畢業成爲 Apache 頂級項目。

1.兩者

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章