这段时间正在学习大数据高级开发课程,出于知识的巩固和知识的分享,我会根据课程内容逐渐发布一些学习笔记和心得,希望能得到大家的指正,一起学习大数据开发技术 。
本套笔记预计50节课程,课程基于开课吧廖雪峰大神最新课程(我自己报的班,花费了8900大洋),课程基于最新的hadoop3.x版本,涵盖hadoop生态圈大厂常用技术,同时,在学习过程中会穿插一些实践项目,笔记中会尽量列出课程的知识点,如果有需要完整课程内容的可以私下联系我:QQ:45770216
注:课程可能需要有一些编程经验,因为笔记中的一些常识问题大家百度一下就知道了,我就没有进一步说明了,我只列出课程的关键知识点。
课程目录
附:
大数据课程课前环境准备
一、电脑准备
- 准备一台内存最少8G(建议16G)、cpu i5 4核的电脑
因为具体配置步骤太多,这里就是简单列举一下步骤,详细操作请到网盘下载详细教程:
链接:https://pan.baidu.com/s/1vUXQeZDwPNu7mdnZJsquHA 提取码:7w7t
复制这段内容后打开百度网盘手机App,操作更方便哦
注:1、我们以后的学习,只创建最小的集群(使用三副本),所以需要使用了三台虚拟机,每台虚拟机至少配置2G内存,1核CPU。
2、教程使用的是MarkDown格式,可以直接安装压缩包中的typora-setup-x64.exe工具打开。
二、安装步骤
1、三台linux虚拟机的安装及网络配置
2、虚拟机时钟同步、添加用户、授权、免密登录
3、hadoop集群安装
4、配置hadoop环境变量
5、格式化集群
6、启动集群
7、常用命令脚本编写
8、验证集群是否搭建成功