Hadoop HDFS源码学习笔记(六)--fetchBlockByteRange

client端需要从datanode端读取数据,当顺序的读取block的时候,会调用到fetchBlockByteRange函数,该函数中,有一个死循环,在循环内部首先使用函数getBlockAt()获得最新的block的信息,然后选择要链接的datanode的信息得到DNAddrPair类型的对象,从该结构中得到DatanodeInfo以及datanode的InetSocketAddress,然后调用函数getBlockReader函数获得一个BlockReader类型的对象。

 getBlockReader函数分析:

 1、首先根据dnAddr判断是否在client端有跟该datanode的cache的连接,如果存在cache的连接,则会调用DFSClient的getLocalBlockReader函数来执行后续的操作,先不分析这类情况。

2、for循环,主要目的是允许retry连接,次数为3

循环中:

(1)根据dnAddr去一个SocketCache类型的变量中去取得cache的Socket

如果不能从socketCache中得到cache的Socket,则会使用DFSClient的socketFactory的createSocket函数创建一个新的socket,然后执行connect连接操作

(2)调用BlockReaderFactory的newBlockReader方法new一个BlockReader类型的对象,单步跟踪进去,发现又进行了一次封装,facoty类函数封装了RemoteBlockReader2的newBlockReader方法,在该方法内部,使用NetUtils的getOutputSream方法返回了一个(OutputStream)SocketOutputStream对象,利用该对象创建了一个BufferedOutputStream,然后利用该对象创建了一个DataOutputStream对象out,然后利用out创建了一个Sender对象,调用sender的readBlock方法。

Sender的readBlock方法,得到了一个OpReadBlockProto对象,并创建了该对象的header的PB的Message,然后调用自身的send函数,发送了一个ReanBlock类型的命令,在send函数中调用了DataOutputStream的Flush函数。

回到RemoteBlockReader2的newBlockReader方法:创建了一个SocketInputStream对象,然后利用该对象创建了一个DataInputStream类型的对象,之后创建了一系列的response,checksum的proto的message信息,创建的datachecksum对象,并对firstChunkOffset进行了验证检测。

然后调用RemoteBlockReader2的构造函数,创建了一个RemoteBlockReader2的对象,然后返回

(3)调用RemoteBlockReader2的readAll方法,该方法封装了BlockReaderUtil的readAll方法, readAll方法,则又循环读入,封装的是RemoteBlockReader2的read方法,在read方法内部,首先判断,一个java.nio.ByteBufer类型的curPacketBuf是否为null,或者(jana.nio.ByteBuffer类型的curDataSlice的remaining为0,且bytesNeededToFinish大于0)则会调用RemoteBlockReader2的readNextPacket()方法。在readNextPacket函数中调用了函数readPacketHeader方法,该方法最终会使用到ReadableByteChannel类型的RemoteBlockReader2的in成员变量来读取packet的header,并将读取过来的ByteBuffer类型的headerBuf中的packetheader字段放入到PacketHeader类型的成员变量curHeader中。

调用resetPacketBuffer函数,根据计算出来的checksumsLen和packetheader中的dataLen重设curPacketBuf以及curDataSlice的字段内容。调用readChannelFully函数从socket连接中读取数据到curPacketBuf中。然后根据用户请求的offset和得到的packetHeader中存储的该packet在block中的offset计算得到应该读取的position,然后利用该newPos对curDataSlice进行position设置。注意在radChannelFuly函数之后会根据curHeader存放的当前packet中的data的length来更新bytesNeededToFini。sh成员变量,直到该变量小于0才判定已经读完用户请求长度的数据,然后接受最后一个空包,然后发送给datanode一个readResult。

跳出到RemoteBlockReader2的read函数中,会发现首先需要判断当前的packet中的dataLen和用户请求的len的长度大小,得到小的一个值nRead,然后从curdataSlice数组中获得nRead长度的数据。然后就跳回到BlockReaderUtil的readAll函数中,该函数会根据当前的nRead值以及之前的累积读到的数据长度和用户请求的len来判定是否继续执行read操作。

至此就使用BlockReader读取了用户请求的数据,然后会关闭当前的BlockReader,并返回,到目前就完成的fecthBlockByteRange的函数操作,从之前的分析可以了解到,该函数执行的操作是根据block的元数据信息从一个datanode上读取block中的数据

现将在该追踪过程中画的序列图和相关类图附上,以便理清思路,源码就不贴了,因为这次用的是23的代码,本机上没有,是在台式机上追踪的,两台电脑没互通呵呵。





發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章