Alluxio 簡介
Alluxio(之前名爲 Tachyon)是世界上第一個以內存爲中心的虛擬的分佈式存儲系統。它統一了數據訪問的方式,爲上層計算框架和底層存儲系統構建了橋樑。 應用只需要連接Alluxio即可訪問存儲在底層任意存儲系統中的數據。此外,Alluxio的以內存爲中心的架構使得數據的訪問速度能比現有常規方案快幾個數量級。
在大數據生態系統中,Alluxio 介於計算框架(如 Apache Spark,Apache MapReduce,Apache Flink)和現有的存儲系統(如 Amazon S3,OpenStack Swift,GlusterFS,HDFS, Ceph,OSS)之間。 Alluxio 爲大數據軟件棧帶來了顯著的性能提升。用戶可以以獨立集羣方式(如Amazon EC2)運行Alluxio,也可以從Apache Mesos或Apache YARN上啓動Alluxio。
Alluxio 與 Hadoop是兼容的。這意味着已有的Spark和MapReduce程序可以不修改代碼直接在 Alluxio上運行。Alluxio 是一個已在多家公司部署的開源項目(Apache License 2.0)。
Alluxio 是發展最快的開源大數據項目之一。自 2013 年 4 月開源以來,已有超過 100 個組織機構的 250 多貢獻者參與到 Alluxio 的開發中。包括阿里巴巴, Alluxio, 百度, 卡內基梅隆大學,IBM,Intel, 南京大學, Red Hat,UC Berkeley和 Yahoo。Alluxio 處於伯克利數據分析棧(BDAS)的存儲層,也是 Fedora 發行版的一部分。
系統框架與工作原理
| 系統架構
| 文件組織
| 讀寫行爲
| 容錯機制
重要特性與適用場景
| 文件系統接口
| 世系關係
| 鍵值存儲庫
| 分層存儲
| 更多底層存儲系統
| 統一命名空間
| 與計算框架相結合
| Web 界面
| 安全性適用場景
| 配置項設置
| 度量指標系統
實際應用案例介紹
| Barclays 銀行
| 百度查詢系統
| 去哪兒網大數據留處理系統
| 華泰證券行情數據回放系統
中文文檔和國內鏡像社區
原文url:http://www.leiphone.com/news/201610/rRTDqNk6lQrInqje.html