Hadoop安装与部署

1、hadoop:由java语言开发的开源的分布式计算平台。可提供PB(100万G)存储。hadoop是可靠的,高效的,可伸缩的。
hadoop假设计算元素和存储会失败,维护多个副本,确保针对失败的节点重分布处理。文件以块的方式存储.
2、hadoop最核心的是hdfs和mapreduce,hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和taskreduce组成。
3、hadoop集群包含一个master和若干个slave角色。master称为namenode节点,slave为datanode节点。
4、hdfs命令
hdfs namenode -format:格式化hdfs文件系统
start-all.sh: 启动集群
jps: 查看节点进程
查看master统计信息和hdfs存储信息:http://masterip:50070
hadoop fs -普通命令: 管理hdfs文件命令
hdfs dfsadmin -report:查看节点状态信息
hdfs dfsadmin -safemode enter|leave|get 开启|关闭|查看 安全模式,在安全模式下只可查看不可写入
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章