HDFS原理(笔记二)

1,HDFS集群存储流程图

在这里插入图片描述
流程图解析
1,系统启动过程步骤
①当集群启动时,DN向NN发送一些信息(Block的位置信息、每一个DN的位置信息、DN的心跳信息(DNID)等)
②客户端汇报当前要上传的文件信息(block数量、文件的上传时间、权限、拥有者)
③NameNode向客户端发送ID号、请求存放block的位置
④客户端根据ID号和block的位置进行存储

安全模式
1,加载fsimage,加载到内存中
2,如果edits文件不为空,那么namenode自己来合并
3,检查DN的健康情况
4,如果有DN挂掉了,指挥做备份

问题:
处于安全模式的过程中,能比能读文件内容?
如果fsimage已经加载到内存中,可以查看到文件目录,但无法读取。

切割文件
切割大文件时,采用的是按字节进行切割,切成一个个的block

并行处理
block和备份向DataNode 进行存储时,我们采用的是管道形式,客户端将一个block打成一个个的数据包(packet)源源不断地向DateNode的管道进行发送,那么同一管道的DataNode就可以同时存储一个block了。
权限
权限控制依赖linux系统的用户系统(默认权限)

机架的概念
机架是用来存放管理服务器的,一般来说一个机架上存放10台服务器

2,搭建集群

角色=进程

搭建集群的模式有三种
1,伪分布式
在一台服务器上,启动多个进程,分别表示各个角色
2,完全分布式
在多台服务器上,每台服务器启动不同角色的进程,使用多台服务器组成HDFS集群
node01:namenode
node02:secondarynamenode datanode
node03:datanode
node04:datanoode

注意:block副本数+自己本身<=datanode节点数

3,高可用性的完全分布式
node01:namenode
node02:secondarynamenode datanode
node03:datanode namenode
node04:datanode

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章