各種分佈式系統簡介

 常見的分佈式文件系統有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分佈式文件系統,而是應用級的分佈式文件存儲服務。



Google學術論文,這是衆多分佈式文件系統的起源

==================================

Google File System(大規模分散文件系統)
MapReduce (大規模分散FrameWork)
BigTable(大規模分散數據庫)
Chubby(分散鎖服務)
一般你搜索Google_三大論文中文版(Bigtable、 GFS、 Google MapReduce)就有了。

做箇中文版下載源:http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126

做個原版地址鏈接:

http://labs.google.com/papers/gfs.html

http://labs.google.com/papers/bigtable.html

http://labs.google.com/papers/mapreduce.html

本地下載 : Google_三大論文中文版.pdf



GFS(Google File System)
--------------------------------------
Google公司爲了滿足本公司需求而開發的基於Linux的專有分佈式文件系統。。儘管Google公佈了該系統的一些技術細節,但Google並沒有將該系統的軟件部分作爲開源軟件發佈。
下面分佈式文件系統都是類 GFS的產品。

HDFS
--------------------------------------
Hadoop實現了一個分佈式文件系統(Hadoop Distributed File System),簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch,後者是一個開源的網絡搜索引擎,本身也是Luene項目的一部分。Aapche Hadoop架構是MapReduce算法的一種開源應用,是Google開創其帝國的重要基石。

Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分佈式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高,C++編寫的代碼,支持Fuse,並且沒有單點故障依賴, 於是下載安裝, 由於 ceph 使用 btrfs 文件系統, 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了,它基於的btrfs本身就不成熟,它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的,具備高可用性的集羣文件系統,它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集羣文件系統,可以支持超過10000個節點,數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域,例如HP SFS產品等。
 



MogileFS
---------------------------------------
由memcahed的開發公司danga一款perl開發的產品,目前國內使用mogielFS的有圖片託管網站yupoo等。
MogileFS是一套高效的文件自動備份組件,由Six Apart開發,廣泛應用在包括LiveJournal等web2.0站點上。
MogileFS由3個部分組成:
  第1個部分是server端,包括mogilefsd和mogstored兩個程序。前者即是mogilefsd的tracker,它將一些全局信息保存在數據庫裏,例如站點domain,class,host等。後者即是存儲節點(store node),它其實是個HTTP Daemon,默認偵聽在7500端口,接受客戶端的文件備份請求。在安裝完後,要運行mogadm工具將所有的store node註冊到mogilefsd的數據庫裏,mogilefsd會對這些節點進行管理和監控。
  第2個部分是utils(工具集),主要是MogileFS的一些管理工具,例如mogadm等。
  第3個部分是客戶端API,目前只有Perl API(MogileFS.pm)、PHP,用這個模塊可以編寫客戶端程序,實現文件的備份管理功能。


mooseFS
---------------------------------------
持FUSE,相對比較輕量級,對master服務器有單點依賴,用perl編寫,性能相對較差,國內用的人比較多
 

FastDFS
---------------------------------------
是一款類似Google FS的開源分佈式文件系統,是純C語言開發的。
FastDFS是一個開源的輕量級分佈式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務,如相冊網站、視頻網站等等。
FastDfs google Code     http://code.google.com/p/fastdfs/
分佈式文件系統FastDFS架構剖析   http://www.programmer.com.cn/4380/
 
TFS
-------------------------------------
TFS(Taobao !FileSystem)是一個高可擴展、高可用、高性能、面向互聯網服務的分佈式文件系統,主要針對海量的非結構化數據,它構築在普通的Linux機器集羣上,可爲外部提供高可靠和高併發的存儲訪問。TFS爲淘寶提供海量小文件存儲,通常文件大小不超過1M,滿足了淘寶對小文件存儲的需求,被廣泛地應用在淘寶各項應用中。它採用了HA架構和平滑擴容,保證了整個文件系統的可用性和擴展性。同時扁平化的數據組織結構,可將文件名映射到文件的物理地址,簡化了文件的訪問流程,一定程度上爲TFS提供了良好的讀寫性能。


GridFS文件系統
-------------------------------------
MongoDB是一種知名的NoSql數據庫,GridFS是MongoDB的一個內置功能,它提供一組文件操作的API以利用MongoDB存儲文件,GridFS的基本原理是將文件保存在兩個Collection中,一個保存文件索引,一個保存文件內容,文件內容按一定大小分成若干塊,每一塊存在一個Document中,這種方法不僅提供了文件存儲,還提供了對文件相關的一些附加屬性(比如MD5值,文件名等等)的存儲。文件在GridFS中會按4MB爲單位進行分塊存儲。

MongoDB GridFS 數據讀取效率 benchmark
http://blog.nosqlfan.com/html/730.html

nginx + gridfs 實現圖片的分佈式存儲  安裝(一年後出問題了)
http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/05/2038285.html

基於MongoDB GridFS的圖片存儲 
http://liut.cc/blog/2010/12/about-imsto_my-first-open-source-project.html

nginx+mongodb-gridfs+squid
http://1008305.blog.51cto.com/998305/885340
發佈了219 篇原創文章 · 獲贊 31 · 訪問量 197萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章