centos下搭建单机和伪分布式hadoop环境-(1)写在前面

由于公司需求,所以最近一个月都在自学hadoop和spark的相关知识,因此,学习的第一步就是搭建开发环境,这里先详细介绍下hadoop开发环境的搭建。


写在前面:

由于本人是hadoop和spark的初学者,博文中写的不恰当或不正确的地方,望各位读者多多提意见,再次谢谢大家!(ps:csdn的上传图片较慢,偶尔会上传失败,因此,搭建hadoop和spark环境相关的博客就不黏贴图片了,但本人会尽可能的详细说明开发环境的搭建过程)

本文要详细介绍hadoop开发环境的搭建,在介绍之前先来区分下:单机和伪分布式的区别?

单机模式(非分布式模式):就是在一台单机上运行hadoop程序,不存在分布式文件系统,只是简单的读写本地的文件系统。只能用来执行现有的程序(通常为编译好的jar包)。

伪分布式模式:该模式也是在一台单机上运行hadoop程序,和单机模式不同的地方在于,在该单机上会创建多个进程来虚拟多个节点来模拟分布式中的各类节点,这样构造的环境和多台机器的执行程序的结果一样,只是一台机器充当了多台机器的作用。(分布式其实就是多台机器充当不同的节点来充当计算or存储的角色,让数据的处理更快捷!)


发布了65 篇原创文章 · 获赞 11 · 访问量 10万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章