目前的一些技術(spark,shark,tachyon)

        Spark是一個高效的分佈式計算系統相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上層的API,同樣的算法在Spark中實現往往只有Hadoop的1/10或者1/100的長度。

        Shark類似“SQL on Spark” or “Hive on Spark”,是一個在Spark上數據倉庫的實現,在兼容Hive的情況下,性能最高可以達到Hive的一百倍。 

        Tachyon是一個高容錯的分佈式文件系統,允許文件以內存的速度在集羣框架中進行可靠的共享,類似Spark和 MapReduce。通過利用lineage信息,積極地使用內存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在內存中處理緩存文件,並且讓不同的 Jobs/Queries以及框架都能內存的速度來訪問緩存文件。

AMPLab正在開發一個大數據的處理平臺叫做Berkeley Data Analytics Stack (BDAS),其中包括了Spark, Shark等項目。   

            Sparrow一個低延遲計算集羣調度系統。

發佈了36 篇原創文章 · 獲贊 5 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章