二、linux基本配置

1、时钟同步

打开终端,输入date查看时间

在这里插入图片描述
step:
1、转换为root用户:su root
2、打开表示时钟的文件:crontab -e
3、输入:0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org并保存
4、在终端执行/usr/sbin/ntpdate cn.pool.ntp.org。可以看到已经成功,如果一次没有成功再次进行尝试。
5、在其他机器上执行同样的步骤。

在这里插入图片描述

2、配置主机名

以master为例:执行命令:vi /etc/sysconfig/network。令HOSTNAME=master。
执行命令:hostname master。
然后再次执行hostname命令就可以发现主机名已经发生改变。
其他的机器类似(slave,slave1)

3、网络配置

本机网络状态正常,不需要网络配置。一般都不需要网络配置。

在这里插入图片描述

4、关闭防火墙

为什么要关闭防火墙
打开终端,切换至root用户su root
执行setup,可以看到如下界面,选择Firewall configuration

在这里插入图片描述
选定之后按回车进入选项。可以看到如下界面。然后将*改为空格,选择OK。

在这里插入图片描述
选择yes

在这里插入图片描述
Quit即可

在这里插入图片描述
对其他机器执行同样的操作。

5 配置主机列表

在/etc/hosts中添加IP地址和主机名的映射。由于我当前只开了两台机器,所以只有两个记录。配置完成后可以通过ping master验证是否配置成功。如下:

在这里插入图片描述
在各台机器上执行同样的操作。

6、安装JDK

选择使用jdk1.7。初次搭建集群,时间又非常的急迫,只找到了比较旧的课程,但相对是比较完整的。为了与课程保持一致,避免不必要的错误,这里与课程保持一致。后面有时间再写新版本的过程。

参考文章:CentOS 6.5下安装Java JDK 环境(注意JDK选择1.7即可)
注:本机将环境变量加在了~/.bashrc

注意:一开始使用的是JDK1.8 后来出现了很多的bug,没有时间改动,所以又切换到了1.7。所以图片中出现1.8的情况,皆改为1.7

完成上面的单个机器上的JDK的安装后,可以通过scp命令将jdk拷贝到其他节点上。
1、分别在slave*机器的usr目录下创建java目录。便于管理。
2、然后在master机器上切换到root用户,执行命令(注意修改目录)scp -r /usr/java/jdk1.7/ root@slave:/usr/java。(后来又将jdk移动到了java目录下,便于管理)遇到如下图的情况,输入yes即可。
在这里插入图片描述
完成jdk的拷贝后,然后拷贝环境变量。同样的原理,但是由于环境变量是在普通用户的家目录中,所以不同在root用户下执行scp。命令:scp ~/.bashrc xiaoguan@slave:~/

7、设置免密登录

这里主要是配置主节点到从接到的免密钥登录。

为什么要配置免密钥登录?
在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作。例如,某个脚本能够终止并重启集群中的所有守护进程。所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录。[4]

在终端生成密钥:ssh-keygen -t rsa。在生成时按三次回车即可。会自动保存在home目录下的.ssh目录中。
复制公钥文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys.
修改authorized_keys的权限:chmod 600 ~/.ssh/authorized_keys
将authorized_keys的权限复制到slave结点:scp authorized_keys xiaoguan@slave:~/。这里只用了一个slave
打开slave结点机器,将authorized_keys移动到.ssh目录下。然后修改一下权限:chmod 600 ~/.ssh/authorized_keys
完成后,使用ssh slave命令进行结点的切换,可以发现,不用进行输入密码即可完成切换。

注意:master机器.ssh权限为700,authorized_keys权限为600。slave机器的权限应该和他保持一致,否则免密无效。

参考

[4]. Hadoop分布式模式下SSH免密码登录

本系列文章

一、安装Centos 6.5
二、linux基本配置
三、Hadoop安装部署
四、WordCount案例

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章