Ambari簡介
Apache Ambari是一種基於Web的工具,支持Apache Hadoop集羣的供應、管理和監控。Ambari已支持大多數Hadoop組件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。
環境準備
VMWare12
需要安裝包的朋友,留言我私發鏈接給你
安裝
1.在VMware創建centos7虛擬機,其中分配磁盤內存的時候一定要注意,最大磁盤大小分配爲50G,其他操作執行下一步操作即可。
2.安裝完虛擬機後,先把需要的安裝包放入到~/Download下,如下所示:
使用Filezilla上傳即可
3.上傳完成,之後先修改主機名,輸入命令,然後重啓虛擬機,重啓之後纔會生效
vim /etc/hostname
4.編輯網絡配置信息,輸入命令如下所示:
/etc/sysconfig/network
NETWORKING=yes 網絡是否被配置
HOSTNAME=master服務器的主機名爲master
5.編輯網卡配置信息,輸入如下命令進入網絡路徑:
cd /etc/sysconfig/network-scripts
編輯文件ifcfg-eno16777736文件,eno16777736是網卡的名字,其餘計算機網卡名字應該不同
因爲是自動獲取if地址(dhcp),所以只需要改變onboot配置項即可 ,改成yes即可,即爲系統啓動時激活網卡
6.配置java環境,並添加到環境變量中,如下所示:
首先進入jdk的安裝目錄下,解壓安裝包到指定路徑下,輸入如下命令:
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/
修改文件名,輸入如下命令:
mv jdk1.8.0_181/ java
配置環境變量,輸入如下命令:
vim ~/.bashrc
`
配置完成之後,輸入命令,使環境變量生效,輸入命令如下:
source ~/.bashrc
輸入命令,出現java的版本信息,即說明安裝成功,輸入命令如下:
java -version
7.安裝需要依賴的軟件,輸入命令如下:
yum -y install gcc gcc-c++ kernel-devel
yum -y install rpm-build
yum -y install net-tools
#gcc:liunx環境中的c/c++編譯器,安裝軟件需要它
#kernel-devel:linux內核,安裝軟件時需要編譯內核,故需要保持內核版本一致性
#rpm-build打包工具
#net-tools網絡管理的包
8.設置時間同步,輸入如下命令:
yum install -y ntp
systemctl enable ntpd
systemctl start ntpd
timedatectl set-timezone Asia/Shanghai
#ntp是網絡同步時間的協議
9.暫停防火牆服務及關閉防火牆,輸入如下命令:
systemctl disable firewalld
service firewalld stop
10.禁用SELinux,它是一個 Linux 內核模塊,也是 Linux 的一個安全子系統,主要作用就是最大限度地減小系統中服務進程可訪問的資源(最小權限原則),編輯/etc/selinux/config,如下所示:
11.禁用 PackageKit,防止yum被PackageKit鎖定,編輯 /etc/yum/pluginconf.d/langpacks.conf,如下所示:
12.設置ssh免密
輸入命令ssh localhost ,生成相關目錄,進入~/.ssh/目錄下,輸入命令
ssh-keygen -t rsa
生成密鑰對,一個公鑰(id_rsa.pub),一個私鑰(id_rsa),只需把公鑰放入到認證文件中即能實現免密,
當A機器需要對B機器進行免密的時候只需要把A機器的公鑰(id_rsa.pub)發送給B機器,即可實現A對B免密,即B登錄A無需密碼登錄
輸入如下命令:
cat id_rsa.pub >>authorized_keys
輸入命令:
ssh localhost
出現如下圖即爲成功:
13. 安裝Ambari,最後是爲了使用Ambari部署Hadoop集羣,所以我們先建立一個本地源把所需要的資源都放在本地源上,建立成一個repository即可。
使用yum安裝所需要的yum-utils 作用管理repository及擴展包的工具和createrepo,作用是創建yum源(軟件倉庫),即爲存放於本地特定位置的衆多rpm包建立索引,描述各包所需依賴信息,並形成元數據,輸入命令如下:
yum -y install yum-utils createrepo
14.創建HTTP服務,是爲了後期啓動Ambari所必須的一個服務,然後啓動即可,輸入命令如下:
yum -y install httpd
/sbin/chkconfig httpd on
/sbin/service httpd start
最後在物理機上輸入命令如下:
http://虛擬機ip地址
出現如下畫面即爲成功:
15.部署本地資源庫,創建一個文件,輸入命令如下:
mkdir -p /var/www/html/
16.解壓下載的 ambari-2.6.2.2-centos7.tar.gz到/var/www/html文件夾下,輸入命令如下:
tar -zxvf ambari-2.6.2.2-centos7.tar.gz -C /var/www/html/
解壓完成即刪除資源包,防止佔過大的內存空間,輸入如下命令
rm ambari-2.6.2.2-centos7.tar.gz
17.分別解壓HDP-UTILS-1.1.0.21-centos7.tar.gz,HDP-2.6.5.0-centos7-rpm.tar.gz,HDP-GPL-2.6.5.0-centos7-gpl.tar.gz 到/var/www/html文件夾下,輸入命令如下:
tar -zxvf HDP-2.6.5.0-centos7-rpm.tar.gz -C /var/www/html/
tar -zxvf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz -C /var/www/html/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/HDP-UTILS/centos7/1.1.0.21/
用物理機瀏覽器訪問如下網址:http://虛擬機ip/ambari,如下所示即爲成功:
18. 安裝yum-plugin-priorities,作用prioritie插件可以爲yum的源倉庫指定優先級,輸入如下命令:
yum -y install yum-plugin-priorities
安裝完成之後,配置文件信息,如下所示:
vim /etc/yum/pluginconf.d/priorities.conf
#保證配置文件中enabled=1啓用,gpgcheck=0 禁用
19.把上傳上去的ambari.repo放到 /etc/yum.repos.d/ 目錄裏,輸入命令如下:
mv ambari.repo /etc/yum.repos.d/
移動完成之後,修改ambari.repo文件,如圖所示:
20.把上傳上去的hdp.repo文件放到/etc/yum.repos.d/目錄下,輸入命令如下:
mv hdp.repo /etc/yum.repos.d/
移動完成之後,編輯配置如下,除ip地址不跟我一樣外,其餘要跟我配置文件一樣,如下所示;
#VERSION_NUMBER=2.6.5.0-292
[HDP-2.6.5.0]
name=HDP Version - HDP-2.6.5.0
baseurl=http://192.168.222.133/HDP/centos7/2.6.5.0-292
gpgcheck=1
gpgkey=http://192.168.222.133/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.222.133/HDP-UTILS/centos7/1.1.0.21
gpgcheck=1
gpgkey=http://192.168.222.133/HDP-UTILS/centos7/1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-GPL-2.6.5.0]
name=HDP GPL Version - HDP-GPL-2.6.5.0
baseurl=http://192.168.222.133/HDP-GPL/centos7/2.6.5.0-292
gpgcheck=1
gpgkey=http://192.168.222.133/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
21.把上傳上去的mysqljar包移到指定的目錄下,輸入命令:
mv mysql-connector-java-5.1.40.jar /usr/share/java
22.修改源爲阿里源,防止下載速度過慢或下載出問題,輸入命令移動到相關路徑下:
cd /etc/yum.repos.d/
移除以前的源文件
mv CentOS-Base.repo
下載阿里源文件
wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
安裝epel repo文件:
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
清理緩存:
yum clean all
重新生成緩存
yum makecache
23.安裝mysql數據庫
把上傳上去的mysql壓縮包解壓到/usr/local/mysql文件夾下(此文件夾需要自己手動創建),輸入命令如下所示:
tar xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /usr/local/mysql/
進入相關目錄並查看文件,如下所示:
有如上文件即爲解壓成功
mysql-community-client(*客戶端程序和工具)
mysql-community-server(*服務器程序和工具)
mysql-community-libs(*LIB庫)
mysql-community-libs-compat(*LIB共享兼容庫)
mysql-community-common(*公共文件)
mysql-community-devel(開發MySQL必備的頭文件和庫)
mysql-community-embedded(嵌入式庫)
mysql-community-embedded-compat(嵌入式共享兼容庫)
mysql-community-embedded-devel(嵌入式開發庫)
mysql-community-test(測試套件)
使用yum安裝所需要的包文件,輸入如下命令:
yum install mysql-community-{server,client,common,libs}-*
安裝完成之後,修改mysql的配置文件,如下所示:
vim /etc/my.cnf
此配置項即爲免密登錄
執行如下命令
mysqld --defaults-file=/etc/my.cnf --initialize-insecure --user=mysql
啓動mysql服務
service mysqld restart
進入mysql修改相關權限:
24.安裝ambari-serive,輸入命令如下:
yum -y install ambari-server
下載完成之後,編輯ambari配置文件,將自己的mysql路徑放入:
vim /etc/ambari-server/conf/ambari.properties
把下面放入到文件末尾即可:
server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.40.jar
25.爲ambari創建相關數據庫用戶,輸入命令如下所示:
26.導入數據庫文件:
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
27.重啓mysql服務
service mysqld restart
28.配置 ambari-server,輸入命令:
ambari-server setup
數據庫Username爲ambaridba
數據庫密碼爲123456
29啓動ambar服務,輸入命令:
啓動之前必須開啓mysql和http服務:
service mysqld restart
service httpd start
ambari-server restart
登錄賬戶密碼爲admin/admin
即爲安裝成功