当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件
附上:
喵了个咪的博客:w-blog.cn
cloudera官网: https://www.cloudera.com/
官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html
一 , 主机agent安装配置
接着上篇文章的页面点击下一步:
填入主机的名称或在已托管主机选择一下主机
cm
master-1
master-2
slave-1
slave-2
slave-3
下一步选择我们之前下载好的parcel
等待系统自动分发
完成之后在进行下一步
检查集群正确性
以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题
用户和用户组
useradd cloudera-scm
swappiness
echo 10 > /proc/sys/vm/swappiness
透明页面
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
点击页面头部的重新运行,我们就得到一个干净的主机检查了
二, 大数据组件安装
主要组件分布
cm cloudManageService oozie HUE
master-1 Zookeeper NameNode HbaseMaster YARN HiveMetastore
master-2 Zookeeper NameNode HbaseMaster YARN HiveMetastore
slave-1 Zookeeper DataNode HbaseRegion NodeManger
slave-2 Zookeeper DataNode HbaseRegion NodeManger
slave-3 Zookeeper DataNode HbaseRegion NodeManger
选择创建集群:
勾选我们需要的组件
对组件中的各个实例修改安装的主机实例
PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件
数据库配置(先去MYSQL创建好对应的数据库)
配置修改(先使用默认配置)
开始安装运行组件
愉快的开始使用了
三 , HUE load balancer 启动失败问题解决
需要先安装一下下面两个包之后在重启
yum install httpd mod_ssl
