Hadooop 學習筆記

HDFS

HDFS是一個分佈式文件存儲系統

系統結構：

一NameNode 和 多個 DataNode

運算原理：

1. 每個BigFile可以分爲多個Block, 不同Block可以存放在不同DataNode, 每個Block可以有多個copy存放在不同DataNode上。NameNode保持文件Block的Meta數據信息。

2. 讀取文件時，client端從NameNode找到文件對應的Block, 然後與DataNode直接建立連接，讀取數據。

3. 寫文件時，

Cons：

1. NameNode有單點瓶頸;

2. HDFS不適應存儲小文件；

HADOOP

HADOOP是一個分佈式計算框架，其用JAVA實現了google 提出的MapReduce模型。

Map: K1, V1 to K2,V2

Reduce: K2, List<V2>  to K3,V3

Cons：