Hadoop-Block的相关分析

1.1  Block

BlockHDFS中的最基本单位是对数据块的抽象,它通过一个final long(blkid)来进行标识。一个Block拥有三个longs,它们分别是block-id block lengthgeneration stampBlock名的格式是”blk”+blkid。通过setget等方法能够得到关于Blockidnamelen等信息。

static final long GRANDFATHER_GENERATION_STAMP = 0; 产生一个块的标记来预先说明要产生的STAMP

GenerationStamp也是HDFS的一个基本元素,也是通过一个long来进行标识的。GenerationStamp作用的猜想:当两个块进行比较的时候,当它们的hashcode相同时,便用GenerationStamp进行比较。当然blkid是不可变的,而当Block的数据增长或者减少的时候,其GenerationStamp就会发生变化(1??)

一个Block对应着两个文件,其中一个存数据,一个存放元数据信息。它的元数据信息文件的格式如下:”blk_”+blkid+”_”+version.meta

和Block相关的类如下所示:

Block的相关类图

1.2          BlockCommand

此类定义了一个对DataNode下的Block操作的一个指令集,它的主要作用是告诉DataNode所指定的一系列块是不可用的或者把这这些块复制到别的DataNode上去。

1.3          BlockListAsLongs

这个类提供了一个接口用来通过long[]来访问块的列表。

1.4          BlockMetadataHeader

此类用来管理DataNode数据块的元数据。一个Block的元数据的最主要部分就是它的CRC数据效验它占了5个字节。而它的版本号占了两个字节。

1.5          BlockMetaDataInfo

这个类是Block的一个子类,保存了一个块的元数据信息。

1.6          BlocksMap

这个类保存了从一个块到它的元数据的映射,一个块的元数据通常包括它的INode和保存这个块的DataNode

BlockInfoBlocksMap中的一个内部类,它继承了Block,所以完全就可以把BlockInfo看作成一个BlockBlockInfo类中有一个triplets数组,其中triplets[3*i]指向了它的DatanodeDescriptor,而triplets[3*i+1]triplets[3*i+2]分别是前一个和后一个块的引用。

this.triplets = new Object[3*replication]; //其中的replication一般由INode中的getReplication()方法得到,replication是这个Block的复制因子。

从源代码private int ensureCapacity(int num)可以看出triplets的大小是可以改变的,同时从这段方法的注释中可以看到,triplets的空间的增加仅仅发生在用户手动的调整复制因子时发生。

对于triplets中的引用指向问题如添加、删除等等,基本上和双向链表的操作方法是相同的。当然添加和删除操作的tripletsDatanodeDescriptor都是一个同一个Datanode

BlockMap的另外一个内部类是NodeIterator,它实现了Blockinfo的一个遍历器。不支持remove

问题1:这些Block为什么要使用一种链式结构,它有什么意义呢??

    问题的解答,当NameNodeDatanode发出一个report时,它会产生一个分隔符,把有效的块和无效的块标记起来

   一个DataNode上的Block链式结构如下所示:

   Block的链式结构

1.7          BlocksWithLocations

这个类主要实现了一个BlockLocations的数组,它提供了有效的定制化的序列化和反序列化的方法,代替了由RPC提供的数组序列化方式。其中的getDatanodes()方法的返回值为datanodeIDs,这就能表明这个Block所在的Datanode的位置。

发布了30 篇原创文章 · 获赞 34 · 访问量 8万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章