1.HDFS元数据管理机制
权衡:内存+磁盘;NameNode内存+FsImage的文件(磁盘)
2.元数据管理流程图
第二阶段:Secondary NameNode工作
1.Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否执行检查点操作结果。
2.Secondary NameNode请求执行CheckPoint。
3.NameNode滚动正在写的Edits日志。
4.将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
5.Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
6.生成新的镜像文件fsimage.chkpoint。
7.拷贝fsimage.chkpoint到NameNode
8.NameNode将fsimage.chkpoint重新命名成fsimage。
在集群启动后,NameNode要求DataNode上报数据块信息,并间隔一段时间后再次上报。
需要借助fsimage文件最后数字编码,来确定哪些edits之前是没有合并到fsimage中,启动时只需要加载那些未合并的edits文件即可。