tachyon方面轉載

參考文章，感謝作者共享

http://www.cnblogs.com/byrhuangqiang/p/3940017.html

http://blog.itpub.net/22268043/viewspace-1114449/

http://blog.csdn.net/colorant/article/details/22385763   

http://www.csdn.net/article/2014-07-17/2820713

http://blog.csdn.net/oopsoom/article/details/38438321

Spark是一個高效的分佈式計算系統，相比Hadoop，它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上層的API，同樣的算法在Spark中實現往往只有Hadoop的1/10或者1/100的長度。

Shark類似“SQL on Spark”，是一個在Spark上數據倉庫的實現，在兼容Hive的情況下，性能最高可以達到Hive的一百倍。 

Tachyon是一個高效的分佈式存儲系統。目前發佈的爲整體項目的部分功能（緩存部分），此部分功能在一次寫、多次讀的環境下爲系統的性能帶來最大的提升。

Tachyon是AmpLab的Li Haoyuan所開發的一個基於內存的分佈式文件系統，出發點是作爲AMPLAB的BDAS的一個組成部分。其聲稱吞吐量超過HDFS 300多倍。

配置

首先使用tachyon 給的配置

$ cp conf/tachyon-env.sh.template conf/tachyon-env.sh

$ vim conf/tachyon-env.sh

配java_home

啓動tachyon

$ ./bin/tachyon-start.sh local

查看是否啓動成功，登錄 http://localhost:19999

測試功能

$ ./bin/tachyon runTest Basic CACHE_THROUGH

你將會看到類似下面的 log

Basic_File_CACHE_THROUGH has been removed
2014-02-02 09:32:02,760 INFO   (TachyonFS.java:connect) - Trying to connect master @ localhost/127.0.0.1:19998
2014-02-02 09:32:02,791 INFO   (MasterClient.java:getUserId) - User registered at the master localhost/127.0.0.1:19998 got UserId 10
2014-02-02 09:32:02,792 INFO   (TachyonFS.java:connect) - Trying to get local worker host : hy-ubuntu
2014-02-02 09:32:02,800 INFO   (TachyonFS.java:connect) - Connecting local worker @ hy-ubuntu/127.0.1.1:29998
2014-02-02 09:32:02,819 INFO   (CommonUtils.java:printTimeTakenMs) - createFile with fileId 18 took 60 ms.
2014-02-02 09:32:03,194 INFO   (TachyonFS.java:createAndGetUserTempFolder) - Folder /mnt/ramdisk/tachyonworker/users/10 was created!
2014-02-02 09:32:03,198 INFO   (BlockOutStream.java:<init>) - /mnt/ramdisk/tachyonworker/users/10/19327352832 was created!
Passed the test!

關閉tachyon

聰明的你肯定已經知道了。

$ ./bin/tachyon-stop.sh

小結

tachyon 是一款內存存儲的系統，他將數據以block(默認1GB)的形式放入內存中，讀寫性能是HDD和SSD無法媲美的，問題就是耗內存，適合作爲map reduce 框架的存儲引擎，與spark協同作業是個不錯的選擇。

更多詳細測試請參考：http://www.cnblogs.com/shenerguang/p/3855121.html