CDH超详细离线安装

Cloudera Manager

cloudera manager的概念

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率

cloudera manager的功能

1. 管理：对集群进行管理，如添加、删除节点等操作。
2. 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
3. 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
4. 集成：多组件进行整合。
   

cloudera manager的架构

1. Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。
2. Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。
3. Management Service：由一组执行各种监控，警报和报告功能角色的服务。
4. Database：存储配置和监视信息。
5. Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）
6. Clients：是用于与服务器进行交互的接口（API和Admin Console）

环境要求

内存分配

将3台虚拟机分配好内存

JDK

安装JDK配置环境变量

安装配置mysql

在hadoop102上安装mysql，配置相应的用户权限。

关闭SELINUX

1. 临时关闭：
   setenforce 0
2. 修改配置文件/etc/selinux/config（重启生效）
   将SELINUX=enforcing 改为SELINUX=disabled

ssh免密登录

将hadoop102，hadoop103，hadoop104相互之间配置免密登陆。

下载第三方依赖

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl

创建CM用的数据库

1. 集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

2. hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

3. oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4. hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CM安装部署

CM下载地址：http://archive.cloudera.com/cm5/cm/5/
离线库下载地址：http://archive.cloudera.com/cdh5/parcels
注：以下所有操作均使用root用户

解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

[root@hadoop102 module]# mkdir /opt/module/cloudera-manager
[root@hadoop102 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

创建用户cloudera-scm（所有节点）

[root@hadoop102 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

–system 创建一个系统账户
–home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
–no-create-home 不要创建用户的主目录
–shell 用户的登录 shell 名
–comment 用户的描述信息
注意：
Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。

配置CM Agent

修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop102

配置CM的数据库

1. 拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop102 share]# mkdir /usr/share/java/
[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意jar包名称要修改为mysql-connector-java.jar
2. 在mysql中创建cm库

[root@hadoop102 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

-h：Database host
-u：Database username
-p：Database Password
–scm-host：SCM server’s hostname

分发cloudera-manager

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop103:/opt/module/
[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop104:/opt/module/

创建Parcel-repo 目录

1. Servre 节点创建目录/opt/cloudera/parcel-repo

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2. 拷贝下载文件到/opt/cloudera/parcel-repo
   1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
   2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
   3）manifest.json

[root@hadoop102 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

3. 在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

分发Parcel-repo

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

启动和关闭CM Server&Agent 服务

服务节点：hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [确定]

工作节点：hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]
[root@hadoop103 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]
[root@hadoop104 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动 cloudera-scm-agent： [确定]

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java

查看被占用则表示安装成功了！！！
访问http://hadoop102:7180，（用户名、密码：admin）
关闭：
服务节点：hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server：                                 [确定]

工作节点：hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]

简书：https://www.jianshu.com/u/0278602aea1d
CSDN：https://blog.csdn.net/u012387141
特别感谢：尚硅谷教育