Hadoop分佈式文件存儲系統

Hadoop分佈式文件存儲系統
Posted by Y.D. in June 7th 2008
 
http://hadoop.apache.org/core/docs/current/index.html

Hadoop是Apache開源組織的一個分佈式計算開源框架，在很多大型網站上都已經得到了應用，如亞馬遜、Facebook和Yahoo等

Yahoo仿照Google文件系統開源的分佈式文件存儲系統
支持MapReduce，從Nutch 獨立開源出來的存儲部分
//適合>100臺的文件系統，如果節點少的讀取測試效率低下無法體現其優勢
該項目的設計目標是10,000節點，已經有大於1,000節點的項目樣例

HDFS三個重要角色：NameNode、DataNode和Client

特點和應用

可擴展：不論是存儲的可擴展還是計算的可擴展都是Hadoop的設計根本。
經濟：框架可以運行在任何普通的PC上。
可靠：分佈式文件系統的備份恢復機制以及MapReduce的任務監控保證了分佈式處理的可靠性。
高效：分佈式文件系統的高效數據交互實現以及MapReduce結合Local Data處理的模式，爲高效處理海量的信息作了基礎準備。
Yahoo’s Doug Cutting on MapReduce and the Future of Hadoop

Hadoop中的集羣配置和使用技巧分佈式計算開源框架Hadoop介紹

分佈式計算開源框架Hadoop介紹――分佈式計算開源框架Hadoop入門實踐（一）
Hadoop中的集羣配置和使用技巧――分佈式計算開源框架Hadoop入門實踐（二）
Hadoop基本流程與應用開發――分佈式計算開源框架Hadoop入門實踐（三）
All content and news on InfoQ about Hadoopref link

http://hadoop.apache.org/core/docs/current/quickstart.html Hadoop Quickstart
http://www.mengyan.org/blog/archives/2006/11/15/138.html Map Reduce - the Free Lunch is not over?
BigTable論文 Googel Cluster，分佈式文件系統 GFS，分佈式計算環境 - MapReduce，分佈式結構化存儲 - BigTable，Lock Service

http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html Getting Started with Hadoop, Part 1
本文的目標是描述如何安裝和使用 Hadoop 0.9.2，不涉及如何使用 Hadoop 框架來開發分佈式程序
http://hadoop.apache.org/core/docs/current/quickstart.html Hadoop Quickstart
http://www.cppblog.com/javenstudio/archive/2008/02/22/43076.html Annotated Hadoop （源碼剖析）
Annotated Hadoop: 第一節 Hadoop是什麼 http://www.cppblog.com/javenstudio/articles/43072.html
Annotated Hadoop: 第二節 MapReduce框架結構 http://www.cppblog.com/javenstudio/articles/43073.html
Annotated Hadoop: 第三節 MapReduce工作原理 http://www.cppblog.com/javenstudio/articles/43075.html