CDH安装文档

CDH与CM下载:
CDH5.4
http://archive.cloudera.com/cdh5/
Cloudera Manager5.4.3:
http://www.cloudera.com/downloads/manager/5-4-3.html

三台机器:内存分配 10g 2g 2g
系统环境准备
1.网络配置 hosts
2.ssh免密钥登录
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id host
3.防火墙关闭
4.selinux关闭(vi /etc/selinux/config{SELINUX=disabled})
5.安装jdk配置环境变量
6.安装ntp
7.安装配置mysql,装一台就够了
yum install mysql-server
systemctl start mysqld
/usr/bin/mysql_secure_installation
mysql -uroot -phadoop
删除 mysql.user
grant all_privileges on . To ‘root’@’%’ identified by ‘123456’ with grant option;
flush_privileges
8.下载第三方依赖包 补全操作系统的工具
yum install -y chkconfig python bind-utils psmic libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

ClouderaManager安装
1.安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2.创建用户cloudera-scm (后台用户 无家目录 无bash)(all)
useradd --system --no-create-home --shell=/bin/false --comment “Cloudera SCM user” cloudera-scm

3.配置CM Agent, agent寻址server(all)
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中 hosts

4.配置CM Server 数据库
拷贝mysql.jar文件到目录 /usr/share/java/
注意.jar包名称要修改mysql-connector-java.jar

grant all on . to ‘temp’@’%’ identified by ‘temp’ with grant option
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

5.创建Parcel目录
-Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
-Agent节点
mkdir-p /opt/cloudera/parcel
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel

6.制作CDH本地源
下载好CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel(http://archive.cloudera.com/cdh5/parcels/5.4.0/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel)以及manifest.json(http://archive.cloudera.com/cdh5/parcels/5.4.0/manifest.json),将这两个文件放到server节点/opt/cloudera/parcel-repo下
打开json文件。找到与下载版本对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,保存。

7.启动CM Server 、Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d
./cloudera-scm-server start
注意:首次启动会创建表及数据
./cloudera-scm-agent start

user:admin
password:admin

jobs -l 列出后台进程号
netstat -natp | grep 50070
tar xf cdh.tar.gz 1>/dev/null

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章