一,首先要下载所有的安装包,不要尝试在线安装方式,对于大型的集群来说,也不可能这么多的机器允许连接外网,所以,最好的方式是通过建立自己的本地安装源。
http://public-repo-1.hortonworks.com
以下为下载地址:
http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos6/ambari-1.4.1.61-centos6.tar.gz
http://s3.amazonaws.com/public-repo-1.hortonworks.com/HDP/centos6/HDP-2.0.6.0-centos6-rpm.tar.gz
对于不同的操作系统可以进去网站后自行选择,这里使用三台Red Hat 6.4(Linuxversion 2.6.32-358.el6.x86_64),所以上面的软件包就绪下载相应的位数版本,Centos6
以下为本次安装测试环境:
Role | FQDN | IP | RAM |
MASTER | master.hadoop.gd | 10.244.235.80 | 680MB |
SLAVE01 | slave01.hadoop.gd | 10.244.235.81 | 256MB |
SLAVE02 | slave02.hadoop.gd | 10.244.235.82 | 256MB |
二,下面的步骤为具体的安装过程,其中有省略了常见的安装步骤,请参考《hadoop&hive install manual》完成;
1,首先配置所有节点/etc/hosts,确保所有节点能够通过名称PING通,如果有DNS的这一步可以省略;
2,在上一步的基础之上,配置无密码登陆这里的配置过程不在重复,依然请参考《hadoop&hive install manual》,有以下几点注意:
a) 配置root无密码登陆;
b) 配置任意一个群集运行用户无密码登陆,这里以hadoop作为范例;
3,建立自己的本地安装源,可以是独立的机器,或者其中一台固定提供此服务的机器,这里我用自己的PC机安装apache(windows版),提供服务,以下我的范例;
a) 确保以这样的方式部署;
b) 手册
c) 其中hadoop目录为以下部分,rhel6为redhat 6.4光盘中所有的RPM包,
将以上下载的包解压后放于这样的目录中,待apache安装完后必须要以这样的方式能访问
以上截图分别为两个主仓库red hat仓库以及hadoop hdp仓库;
4,在配置repo文件前需要修改:
/etc/yum/pluginconf.d/product-id.conf主要防止进行rpm校验,
[main]
enabled=1
gpgcheck=0
5,配置所有节点中yum安装源
cd/etc/yum.repos.d/
vimrhel-source.repo
[rhel-source]
name=Red HatEnterprise Linux $releasever - $basearch - Source
baseurl=http://10.248.151.40/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
6,配置HDP.repo HDP-UTIL.repo ambari.repo,官方有以上三个文件这里不以官方文件为主,主要这里为本地安装源,所以修改为以下样子:
vim HDP.repo
[HDP-2.0.6]
name=HDP
baseurl=http://10.248.151.40:8088/HDP/centos6/2.x/updates/2.0.6.0
path=/
enabled=1
gpgcheck=0
vim HDP-UTIL.repo
[HDP-UTILS-1.1.0.16]
name=HortonworksData Platform Version - HDP-UTILS-1.1.0.16
baseurl=http://10.248.151.40:8088/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
enabled=1
priority=1
vim ambari.repo
[ambari-1.4.1.61]
name=ambari-1.4.1.61
baseurl=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61
gpgcheck=0
gpgkey=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.16]
name=HortonworksData Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://10.248.151.40:8088/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
gpgkey=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
7,以上部分需要早所有节点配置,这里在master上配置完后scp到每一台主机,这里不在演示;
8,使用以下命令测试本地安装源是否生效
yum list
yum update
9,使用命令进行ambari-server安装
yum –y installambari-server
10,安装过程中会自动安装Postgresql数据库,此时需要使用命令使数据库初始化并让其开机自启动
service postgresqlinitdb
chkconfig –level2345 postgresql on
11,此时ambari-server还不能使用需要初始化安装,使用以下命令
ambari-serversetup –v#显示安装过程详细信息
安装完毕后就可以启动
Ambari-serverstart
此时看到成功即表明可以使用了,访问ambari-server 8080端口看是是否可以访问,初始访问用户名:admin 密码:admin
或者在此配置/etc/profile中java环境变量,使用jps查看是否有以下进程,表明是否成功!
AmbariServer
vim /etc/profile
exportJAVA_HOME=/usr/jdk64/jdk1.6.0_31
exportJRE_HOME=$JAVA_HOME/jre
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
12,以上步骤进行完网站可以访问只是关键一步中的一小步,此时还不能进行安装部署,切记,切记!!!
以下部分为重点部分;
必须修改以下图文件夹HDPLocal中相应文件使本地仓库起作用,使其在后期部署中在本地下载文件
需要修改文件截图:
Vim repoinfo.xml
<reposinfo>
<os type="centos6">
<repo>
<baseurl>http://10.248.151.40:8088/HDP/centos6/2.x/updates/2.0.6.0</baseurl>
<repoid>HDP-2.0.6</repoid>
<reponame>HDP</reponame>
</repo>
</os>
<os type="redhat6">
<repo>
<baseurl>http://10.248.151.40:8088/HDP/centos6/2.x/updates/2.0.6.0</baseurl>
<repoid>HDP-2.0.6</repoid>
<reponame>HDP</reponame>
</repo>
</os>
</reposinfo>
此文件修改只在master上修该也就是ambari server上
三,具体应用十分简单不在此分析;
1,登入网页加入需要加入的节点FQDN
2,其中的ssh 私钥为Master中root用户的私钥,因为master中root用户可以无密码登陆slave01,slave02,当然此处也可用hadoop用户
3,如果在后期部署中需要部署hive,那么mysql数据库需要提前独立安装,请参考《hadoop&hiveinstall manual》,