大数据高级开发系列笔记--目录

        这段时间正在学习大数据高级开发课程,出于知识的巩固和知识的分享,我会根据课程内容逐渐发布一些学习笔记和心得,希望能得到大家的指正,一起学习大数据开发技术 。

       本套笔记预计50节课程,课程基于开课吧廖雪峰大神最新课程(我自己报的班,花费了8900大洋),课程基于最新的hadoop3.x版本,涵盖hadoop生态圈大厂常用技术,同时,在学习过程中会穿插一些实践项目,笔记中会尽量列出课程的知识点,如果有需要完整课程内容的可以私下联系我:QQ:45770216

       注:课程可能需要有一些编程经验,因为笔记中的一些常识问题大家百度一下就知道了,我就没有进一步说明了,我只列出课程的关键知识点

课程目录

第一节课 Hadoop简介

第二节课 HDFS文件系统

第三节课 HDFS常用命令

第四节课 使用JAVA API操作HDFS

第五节课 第一阶段总结

 

附:

                                        大数据课程课前环境准备

一、电脑准备

  1. 准备一台内存最少8G(建议16G)、cpu i5 4核的电脑

    因为具体配置步骤太多,这里就是简单列举一下步骤,详细操作请到网盘下载详细教程:

    链接:https://pan.baidu.com/s/1vUXQeZDwPNu7mdnZJsquHA      提取码:7w7t 

复制这段内容后打开百度网盘手机App,操作更方便哦

    注:1、我们以后的学习,只创建最小的集群(使用三副本),所以需要使用了三台虚拟机,每台虚拟机至少配置2G内存,1核CPU。

            2、教程使用的是MarkDown格式,可以直接安装压缩包中的typora-setup-x64.exe工具打开

           

二、安装步骤

1、三台linux虚拟机的安装及网络配置

2、虚拟机时钟同步、添加用户、授权、免密登录

3、hadoop集群安装

4、配置hadoop环境变量

5、格式化集群

6、启动集群

7、常用命令脚本编写 

8、验证集群是否搭建成功

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章