Alluxio 原名 tachyon。
Alluxio 是一個高容錯的分佈式文件系統,允許文件以內存的速度在集羣框架中進行可靠的共享,類似Spark和 MapReduce。通過利用lineage信息,積極地使用內存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在內存中處理緩存文件,並且讓不同的 Jobs/Queries以及框架都能內存的速度來訪問緩存文件。
特性:
-
類 Java 的文件 API
-
兼容性:實現 Hadoop 文件系統接口
-
可插入式的底層文件系統
-
內建 Raw 原生表的支持
-
基於 Web 的 UI
-
提供命令行接口
Alluxio 架構:
與 HDFS 的比較:
Hadoop足夠快嗎?美國加州大學伯克利分校的AMPLab基於Hadoop的核心組件開發出一個更快的版本Alluxio。AMPLab從底層重建了Hadoop平臺,“沒有最快,只有更快”。
AMPLab在大數據領域最知名的產品是Spark,它是一個內存中並行處理的框架,Spark的創造者聲稱:使用Shark運行並行處理Job速度要比MapReduce快100倍。又因爲Spark是在內存運行,所以Shark可與Druid或者SAP's HANA系統一較高下。Spark也爲ClearStory下一代分析和可視化服務提供處理引擎。如果你喜歡用Hive作爲Hadoop的數據倉庫,那麼你一定會喜歡Shark,因爲它代表了“Hive on Spark”。
AMPLab的最新目標就是Hadoop分佈式文件系統(HDFS),不過HDFS在可用性和速度方面一直受人詬病,所以AMPLab創建了Alluxio( 在High Scalability上非常奪目,引起了Derrick Harris的注意)。
當然,AMPLab並不是第一個對HDFS提出質疑的組織,同時也有很多商業版本可供選擇,像Quantcast就自己開發了開源文件系統,聲稱其在運行大規模文件系統時速度更快、更高效。
誠然,AMPLab所做的工作就是打破現有商業軟件的瓶頸限制。如果碰巧破壞了現狀,那麼就順其自然吧!不過,對於用戶來說,AMPLab只是爲那些尋找合適工具的人員提供了一種新的選擇,AMPLab的合作伙伴和贊助商包括谷歌,Facebook,微軟和亞馬遜網絡服務,它們當然非常樂意看到這些新技術,如果很有必要的話。
AMPLab的其他項目包括PIQL,類似於一種基於鍵/值存儲的SQL查詢語言;MLBase,基於分佈式系統的機器學習系統;Akaros,一個多核和大型SMP系統的操作系統;Sparrow,一個低延遲計算集羣調度系統。