一、目的：

为了实现公司项目对海量业务数据、文件进行存储，系统间共享，并且达到以下几点要求，可行方案hadoop集群。

数据安全
需要实现数据冗余，避免数据的单点故障
可线性扩展
当数据增长到TB、甚至PB以上时，存储方案需要支持可线性扩展
存储高可用
某个存储服务宕掉时，不影响整体存储方案的可用
性能
性能达到应用要求

二、版本选择：

目前而言，不收费的Hadoop版本主要有三个(均是国外厂商)，分别是：
Apache(最原始的版本，所有发行版均基于这个版本进行改进)。

Hortonworks版本(Hortonworks Data Platform，简称“HDP”)。

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop，简称CDH)。

对比：

（1）Apache版本建议学习使用，不建议在生产环境使用。

（2）Hortonworks 主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，一款开源的安装和管理系统。HCatalog，一个元数据管理系统。

（3）Cloudera 最成型的发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目，Cloudera有免费版和企业版，企业版只有60天试用期，不过基本上免费版也满足生产环境的使用，监控工具为中文，不过Cloudera的代码不开源，只能通过产生本身的BUG修改补丁升级等。

三、hortonworks简介

需求使用到的分别为Apache Ambari和HDP和HDP-UTILS。

Apache Ambari是一个基于web的工具，用于配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘，比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力，以友好的用户界面对它们的性能特性进行诊断。

HDP是hortonworks的软件栈，里面包含了hadoop生态系统的所有软件项目，比如HBase,Zookeeper,Hive,Pig等等。

HDP-UTILS是工具类库。

四、准备工作：

4.1、Ambari、HDP版本介绍

Ambari 2.7.3仅支持HDP-3.1.0，HDP-3.0.1，HDP-3.0.0使用以下URL确定对每个产品版本的支持https://supportmatrix.hortonworks.com/，以及下载报告

4.2、工具包下载：

ambari-2.7.3.0：

http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz

HDP-3.1.0：

http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/HDP-3.1.0.0-centos7-rpm.tar.gz

HDP-UTILS-1.1.0.22：

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

JDK：1.8版本

操作系统:centos7任意版本，系统为英文，64位，内存最好每台都10G以上。

4.3、服务器防火墙关闭

4.3.1、关闭掉linux防火墙（所有机器）

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

安装完成后，可以重新启动iptables。如果您环境中的安全协议阻止禁用iptables，则可以启用iptables，如果所有必需端口都已打开且可用，Ambari会在Ambari Server安装过程中检查iptables是否正在运行。如果iptables正在运行，则会显示警告，提醒检查所需端口是否已打开且可用。群集安装向导中的“主机确认”步骤还会为运行iptables的每个主机发出警告。

4.4、修改主机名及机器隐射（hosts）

　4.4.1、通过vi /etc/hostname 进行修改

　　各个节点修改成相应的名称，分别为master,slave1.slave2.slave3,例master。

　4.4.2、修改/etc/hosts文件（所有机器）

　　这里主要是为了可以实现通过名称来查找相应的服务器

[root@master ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.171 master master.lanwon
192.168.0.173 slave1 slave1.lanwon
192.168.0.174 slave2 slave2.lanwon

4.4.3、修改主机为英文，如果是因为则不需要处理

[root@master data]# vi /etc/locale.conf
LANG="en_US.UTF-8"

4.4.4、修改固定IP（所有机器）

[root@master ~]# vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes

#固定IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

IPADDR=192.168.200.136
GETWAY=192.168.200.2
NETMASK=255.255.255.0

service network restart

4.4.5、重启电脑

执行命令：reboot

4.5、服务器的免登陆（所有机器）

4.5.1、配置master节点无密码登录到其他节点，在master节点上操作

## 生成密钥对（所有机器）
[root@lanwon171 ~]# ssh-keygen -t rsa   ## 一路回车即可
 
## 修改文件权限
[root@lanwon171 ~]# chmod 700 ~/.ssh
[root@lanwon171 ~]# chmod 600 ~/.ssh/authorized_keys

[root@lanwon171 ~]# ssh-copy-id slave1
[root@lanwon171 ~]# ssh-copy-id slave2
[root@lanwon171 ~]# ssh-copy-id master

4.5.2、测试所有机器是否SSH免登陆互通

[root@master ~]# ssh slave1 date ;ssh slave2 date;ssh master date;
2019年 06月 19日 星期三 14:18:06 CST
2019年 06月 19日 星期三 14:18:07 CST
2019年 06月 19日 星期三 14:18:07 CST

4.5.3、将创建的秘钥拷贝出来

因为后面ambari安装的时候需要上传这个秘钥。创建秘钥是在隐藏文件夹/root/.ssh/下面的，所以需要先把秘钥拷贝到可见区域，我们这边把它拷贝到/home/tools下
[root@master ~]# mkdir /home/tools
[root@master ~]# cp /root/.ssh/id_rsa /home/tools/
[root@master ~]# ls /home/tools
id_rsa
注：是id_rsa，而不是id_rsa.pub，之前就因为这个复制错了导致我重新安装集群。

4.6、删除openJDK

4.6.1、删除默认JDK

一些开发版的centos会自带jdk，我们一般用自己的jdk，把自带的删除。先看看有没有安装java -version
[root@java-test-01 ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

4.6.2、查找他们的安装位置

[root@java-test-01 ~]# rpm -qa | grep java
java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
tzdata-java-2016f-1.el7.noarch
java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
python-javapackages-3.4.1-11.el7.noarch

4.6.3、删除全部，noarch文件可以不用删除

[root@java-test-01 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
[root@java-test-01 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
[root@java-test-01 ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
[root@java-test-01 ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64

4.6.4、检查有没有删除

[root@java-test-01 ~]# java -version
-bash: /usr/bin/java: 没有那个文件或目录

注：如果还没有删除，则用yum -y remove去删除他们

4.7、安装JDK

上传jdk到/home/tools/目录下
[root@master ~]# cd /home/tools
[root@master tools]# tar -zxvf jdk-8u121-linux-x64.tar.gz
[root@master tools]# rm -rf jdk-8u121-linux-x64.tar.gz 
#把JDK复制到其他机器
[root@master tools]# scp -r /home/tools/ root@slave1:/home/

进入配置JAVA环境（所以机器） 或者 修改好主机 在scp过去source /etc/profile
vi /etc/profile

JAVA_HOME=/home/tools/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境变量生效
source /etc/profile

4.8、服务器时间同步

4.8.1、安装ntp服务（所有机器）

[root@master ~]# yum -y install ntp

4.8.2、设置master为主服务器，开启nptd服务(主服务器)

[root@master ~]# vi /etc/ntp.conf

红色框内是需要修改的部份：
restrict 192.168.0.0 mask 255.255.255.0

#注释掉其他上游时间服务器
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

新增：
server 127.127.1.0
fudge 127.127.1.0 stratum 10

4.8.3、启动服务：

[root@master ~]# systemctl start ntpd.service

4.8.4、开机自启动：

[root@master ~]# systemctl enable ntpd.service

4.8.5、子节点设置同步（子节点）

主服务器开启ntp服务器以后，子节点就不需要开启了，因为当server与client之间的时间误差过大时（可能是1000秒），处于对修改时间可能对系统和应用带来不可预知的问题，NTP将停止时间同步！所以如果发现NTP启动之后时间并不进行同步时，应该考虑到可能是时间差过大引起的，此时需要先手动进行时间同步！所以直接使用定时手动同步的方式就可以了。

添加任务计划实时同步master服务器时间：

[root@master ~]# crontab -e
0-59/10 * * * * /usr/sbin/ntpdate master
[root@slave1 data]# crontab -l
0-59/10 * * * * /usr/sbin/ntpdate master

4.9、禁用SELinux和PackageKit将检查umask值

4.9.1、禁用sellinux(所有机器)

[root@master ~]# vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

主要就是把SELINUX改为disabled。

4.9.2、umask值(所有机器)

sudo sh -c "echo umask 0022 >> /etc/profile"

使环境变量生效

source /etc/profile

4.10、服务器的文件句柄数设置

4.10.1、永久设置(所有机器)

[root@master ~]# vi /etc/security/limits.conf
# End of file
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

4.10.2关闭当前shell窗口，重新打开熟人ulimit -a查看是否设置成功

[root@master ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7217
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 131072
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

可见这两个参数值已经修改好了：
open files                      (-n) 65536
max user processes              (-u) 131072

4.11、修改yum源，实现离线安装

4.11.1、安装httpd服务（主服务器）

[root@master ~]# yum -y install httpd
[root@master ~]# service httpd restart
Redirecting to /bin/systemctl restart httpd.service
[root@master ~]# chkconfig httpd on
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

4.11.2、将上面下载的三个包放到/var/www/html目录下（主服务器）

[root@master ~]# mkdir /var/www/html/hdp  在http服务默认目录下添加目录
[root@master ~]# cd /var/www/html/hdp    进入添加的目录
[root@master ~]# mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
上传之前下载包
[root@master hdp]# ls   查看
ambari-2.7.3.0-centos7.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz
[root@master hdp]# tar -zxvf ambari-2.7.3.0-centos7.tar.gz    解压
[root@master hdp]# tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz  解压
[root@master hdp]# tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/  解压
[root@master hdp]# rm -rf ambari-2.7.3.0-centos7.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz 删除tar包
[root@master hdp]# ls    查看
ambari  HDP  HDP-UTILS

4.11.3、现在可以通过访问http://192.168.0.171/hdp/查看是否能成功访问

4.11.4、制作本地源

（1）安装本地源制作相关工具（主服务器）

[root@master hdp]# yum install yum-utils createrepo yum-plugin-priorities -y
[root@master hdp]# createrepo  ./

（2）修改文件里面的源地址（主服务器）

1)设置ambari的yum源
[root@master hdp]# vi ambari/centos7/2.7.3.0-139/ambari.repo
#VERSION_NUMBER=2.7.3.0-139
[ambari-2.7.3.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.3.0
baseurl=http://192.168.0.171/hdp/ambari/centos7/2.7.3.0-139
gpgcheck=1
gpgkey=http://192.168.0.171/hdp/ambari/centos7/2.7.3.0-139/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

2)把设置好的yum文件，复制到/etc/yum.repos.d/
[root@master hdp]# cp ambari/centos7/2.7.3.0-139/ambari.repo /etc/yum.repos.d/
[root@master hdp]# scp -r ambari/centos7/2.7.3.0-139/ambari.repo root@slave1:/etc/yum.repos.d/

3)设置HDP的yum源
[root@master hdp]# vi HDP/centos7/3.1.0.0-78/hdp.repo
#VERSION_NUMBER=3.1.0.0-78
[HDP-3.1.0.0]
name=HDP Version - HDP-3.1.0.0
baseurl=http://192.168.0.171/hdp/HDP/centos7/3.1.0.0-78
gpgcheck=1
gpgkey=http://192.168.0.171/hdp/HDP/centos7/3.1.0.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.0.171/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://192.168.0.171/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

4)把设置好的yum文件，复制到/etc/yum.repos.d/
[root@master hdp]# cp HDP/centos7/3.1.0.0-78/hdp.repo /etc/yum.repos.d/
[root@master hdp]# scp -r HDP/centos7/3.1.0.0-78/hdp.repo root@slave1:/etc/yum.repos.d/

5)把设置好的yum重置
[root@master ambari]# yum clean all
[root@master ambari]# yum makecache
[root@master ambari]# yum repolist

五、开始安装ambari-server

5.1、首先 yum -y install ambari-server 下载ambari-server，然后安装mysql。

首先执行
[root@master hdp3]# yum -y install ambari-server

检查是否有自带的mariadb，有的话先删除
[root@master hdp3]# rpm -qa | grep mariadb
mariadb-libs-5.5.44-2.el7.centos.x86_64
[root@master hdp3]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

检测系统是否自带安装mysql
[root@master hdp3]# yum list installed | grep mysql
如果发现有系统自带mysql，请卸载
[root@master hdp3]# yum -y remove mysql-libs.x86_64


[root@master tools]# yum -y install wget
下载mysql yum源
[root@master tools]# wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm
安装mysql源
[root@master tools]# rpm -ivh mysql-community-release-el6-5.noarch.rpm
安装mysql 服务器命令
[root@master tools]# yum install mysql-community-server
安装成功后启动
[root@master tools]# service mysqld start
查看mysql是否自启动,并且设置开启自启动命令
[root@master tools]# chkconfig --list | grep mysqld
[root@master tools]# chkconfig mysqld on

CentOS 7 安装mySQL如何出现 [Errno 256] No more mirrors to try的话输入以下：
[root@master bin]# yum --enablerepo=mysql56-community clean metadata
然后再yum -y install mysql-community-server 即可解决

登陆mysql，第一次默认没有密码
[root@master ~]# mysql -uroot 
设置登录密码
mysql> set password for 'root'@'localhost' = password('yourPassword');
添加远程登录用户
mysql> grant all privileges on *.* to 'root'@'%' identified by 'yourPassword';

创建ambari-server需要用到的库表
CREATE DATABASE ambari;  
use ambari;
CREATE USER 'ambari'@'%' IDENTIFIED BY 'lw123';  
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';  
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'lw123';  
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';  
CREATE USER 'ambari'@'master' IDENTIFIED BY 'lw123';  
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'master';
FLUSH PRIVILEGES;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql  
show tables;  
use mysql;  
select Host,User,Password from user where user='ambari';  

CREATE DATABASE hive;  
use hive;  
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';  
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';   
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';  
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';  
CREATE USER 'hive'@'master' IDENTIFIED BY 'hive';  
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'master';  
FLUSH PRIVILEGES;

CREATE DATABASE oozie;  
use oozie;  
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';  
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';  
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie';  
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';  
CREATE USER 'oozie'@'master' IDENTIFIED BY 'oozie';  
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'master';  
FLUSH PRIVILEGES;


建立mysql与ambari-server的连接
网上下载mysql-connector-java-5.1.40.jar放到root文件下,注意目录必须按照下面规定得否则无法启动
[root@master tools]# mkdir /usr/share/java
[root@master tools]# cp /home/tools/mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar
[root@master tools]# cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
[root@master tools]# vi /etc/ambari-server/conf/ambari.properties
添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

yum install mysql-connector-java

如果失败：
drop database ambari;
drop database hive;
drop database oozie;
use mysql;
Delete FROM user Where User='ambari';
Delete FROM user Where User='hive';
Delete FROM user Where User='oozie';

FLUSH PRIVILEGES;

5.2、初始化设置ambari-server并启动

5.2.1、开始配置ambari

[root@master ~]# ambari-server setup
下面是配置执行流程，按照提示操作
（1） 提示是否自定义设置。输入：y
Customize user account for ambari-server daemon [y/n] (n)? y
（2）ambari-server 账号。
Enter user account for ambari-server daemon (root):
如果直接回车就是默认选择root用户
如果输入已经创建的用户就会显示：
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
（3）检查防火墙是否关闭
Adjusting ambari-server permissions and ownership...
Checking firewall...
WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports.
OK to continue [y/n] (y)?
直接回车
（4）设置JDK。输入：2
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/home/tools/jdk1.8.0_121
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /home/tools/jdk1.8.0_121
Validating JDK on Ambari Server...done.
Completing setup...
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n  
Completing setup...
Configuring database...
（5）数据库配置。选择：y
Configuring database...
Enter advanced database configuration [y/n] (n)? y
（6）选择数据库类型。输入：3
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
==============================================================================
Enter choice (3): 3
（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。如果想重命名，就输入。
Hostname (localhost):
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (bigdata):ambarizk123
Re-Enter password: ambarizk123
Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)? y
Configuring remote database connection properties...
（8）将Ambari数据库脚本导入到数据库
WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 
Proceed with configuring remote database connection properties [y/n] (y)?  
启动
[root@master ~]# ambari-server start
启动日志查看
[root@master ~]# tail -f /var/log/ambari-server/ambari-server.log
所有节点安装ambari-agent 
[root@master ~]# yum -y install ambari-agent
[root@master ~]# chkconfig --add ambari-agent

然后再进入ambari-server管理界面账号密码默认都为admin
http://192.168.0.171:8080

5.2.2、安装hive的话一定要执行

安装hive的话一定要执行
[root@nd-00 ~]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

六、安装配置部署HDP集群

6.1、访问Ambari web页面

默认端口8080，Username：admin；Password：admin；http://192.168.0.171:8080

6.2、开始集群安装

点击启用安装向导，只有在没有安装过HDP集群的才有这个界面。

6.3、配置集群名称

6.4、版本选择

6.5、集群目前拥有的节点和密钥配置

6.6、主机确认

6.7、选择需要安装的组件

6.8、资源节点分配

6.9、分配从属和客户端

6.10、定制服务

整体的机器概况

可以下载蓝图，打印，点击部署等

6.11、安装完成后下一步则进入监控界面

注意：安装集群过程中如果出现错误可以执行以下操作

1.清除数据库。
2.执行以下命令
[root@master ~]# ambari-server stop
[root@master ~]# ambari-server reset
[root@master ~]# ambari-server setup
3.清除浏览器的缓存。
4.重新运行整个安装向导。


5.本次安装遇到的几个问题，这些文中都有提到，别遗漏了：
1）密钥的一定别弄错了是id_rsa这个文件，而不是id_rsa.pub。
2）ambari-agent一定要先安装，不然确定主机那一波非常慢。

七、HA高可用

待完善

八、参考资料

8.1、ambari安装文档 (apache官方）

https://ambari.apache.org/1.2.2/installing-hadoop-using-ambari/content/ambari-chap1.html

8.2、ambari安装文档（hortonworks官方）

https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ch_Getting_Ready.html

Ambari2.7.3 Hortonworks3 HDP(hadoop3.1.0集群安装)

一、目的：

二、版本选择：

三、hortonworks简介

四、准备工作：

4.1、Ambari、HDP版本介绍

4.2、工具包下载：

4.3、服务器防火墙关闭

4.3.1、关闭掉linux防火墙（所有机器）

4.4、修改主机名及机器隐射（hosts）

4.4.1、通过vi /etc/hostname 进行修改

4.4.2、修改/etc/hosts文件（所有机器）

4.4.3、修改主机为英文，如果是因为则不需要处理

4.4.4、修改固定IP（所有机器）

4.4.5、重启电脑

4.5、服务器的免登陆（所有机器）

4.5.1、配置master节点无密码登录到其他节点，在master节点上操作

4.5.2、测试所有机器是否SSH免登陆互通

4.5.3、将创建的秘钥拷贝出来

4.6、删除openJDK

4.6.1、删除默认JDK

4.6.2、查找他们的安装位置

4.6.3、删除全部，noarch文件可以不用删除

4.6.4、检查有没有删除

4.7、安装JDK

4.8、服务器时间同步

4.8.1、安装ntp服务（所有机器）

4.8.2、设置master为主服务器，开启nptd服务(主服务器)

4.8.3、启动服务：

4.8.4、开机自启动：

4.8.5、子节点设置同步（子节点）

4.9、禁用SELinux和PackageKit将检查umask值

4.9.1、禁用sellinux(所有机器)

4.9.2、umask值(所有机器)

4.10、服务器的文件句柄数设置

4.10.1、永久设置(所有机器)

4.10.2关闭当前shell窗口，重新打开熟人ulimit -a查看是否设置成功

4.11、修改yum源，实现离线安装

4.11.1、安装httpd服务（主服务器）

4.11.2、将上面下载的三个包放到/var/www/html目录下（主服务器）

4.11.3、现在可以通过访问http://192.168.0.171/hdp/查看是否能成功访问

4.11.4、制作本地源

五、开始安装ambari-server

5.1、首先 yum -y install ambari-server 下载ambari-server，然后安装mysql。

5.2、初始化设置ambari-server并启动

5.2.1、开始配置ambari

5.2.2、安装hive的话一定要执行

六、安装配置部署HDP集群

6.1、访问Ambari web页面

6.2、开始集群安装

6.3、配置集群名称

6.4、版本选择

6.5、集群目前拥有的节点和密钥配置

6.6、主机确认

6.7、选择需要安装的组件

6.8、资源节点分配

6.9、分配从属和客户端

6.10、定制服务

6.11、安装完成后下一步则进入监控界面

七、HA高可用

八、参考资料

8.1、ambari安装文档 (apache官方）

8.2、ambari安装文档（hortonworks官方）

　4.4.1、通过vi /etc/hostname 进行修改

　4.4.2、修改/etc/hosts文件（所有机器）