CentOS6.5基於Ambari搭建Hadoop開發環境

準備環境

部署好的Ambari-server
安裝完成的MariaDB等等
準備環境的過程詳見我上一篇博客的鏈接

搭建過程

(1)登陸進入Ambari初始頁面
(右鍵翻譯會將整個頁面翻譯成中文,但是某些專有名詞會被翻譯得很怪hhh)
在這裏插入圖片描述
(2)單擊按鈕Launch Install Wizard,開始搭建集羣
輸入集羣名稱,點擊下一步(我這裏的集羣名稱是myCluster)
在這裏插入圖片描述
(3)部署HDP
①選擇HDP2.4再點擊Advanced Repository Options
[注]如果當初創建本地源的時候下載的是HDP其他版本,則選擇相應版本
在這裏插入圖片描述
②由於虛擬機的系統是CentOS6.5,所以選擇redhat6
後面的地址修改爲搭建好的本地源地址
在這裏插入圖片描述
(4)配置ssh
將上方文本框填入搭建涉及的主機
在ambari-server運行的節點上執行以下指令

cat ~/.ssh/id_rsa

將密鑰拷貝到文本框中點擊下一步
在這裏插入圖片描述

在虛擬機上更新一下openssl版本(否則下一步可能出錯失敗)
(如果出現出錯失敗的情況,更新openssl版本再重試即可)

yum install openssl

等待一段時間
在這裏插入圖片描述
成功,但是有warning提示。我們點擊這個提示查看warning內容。
在這裏插入圖片描述
① 禁用 Transparent Huge Pages
在這裏插入圖片描述

# cat /sys/kernel/mm/transparent_hugepage/enabled 
[always] madvise never 
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag 
# cat /sys/kernel/mm/transparent_hugepage/enabled 
always madvise [never] 

重啓後失效,需要再次執行。
②ntpd服務沒開
在這裏插入圖片描述
那麼就配置一下ntp: 配置教程
至此,warning全部搞好
在這裏插入圖片描述
點擊下一步
在這裏插入圖片描述
(5)選擇需要安裝的服務。本例安裝 HDFS、YARN+MapReduce2、Zookeeper、Tez、Pig、Hive、Mahout、Sqoop等服務。然後點擊下一步。
在這裏插入圖片描述
注:這裏若是選擇了網頁翻譯成中文,就很好玩了hhh感興趣的話可以試試
在這裏插入圖片描述
然後我們發現出現瞭如下提示。意思是讓把Ambari Mertics勾上。那就勾上吧。
在這裏插入圖片描述
(6)部署(爲了省事,我選默認的。直接下一步)
在這裏插入圖片描述
在這裏插入圖片描述
(7)分配客戶機和服務器(使用默認配置)
在這裏插入圖片描述
(8)Service的配置
(這裏配置了一下Hive的數據庫密碼)
在這裏插入圖片描述
配置了一下HDFS的DataNode大小(因爲建議小於0.957個G)
在這裏插入圖片描述我這裏設置成了512MB,點擊下一步
報了一個提示。翻譯之後顯示如下
在這裏插入圖片描述
於是,在Hive-Settings裏將TezContainerSize改成682MB
在這裏插入圖片描述
剩下那個不管了,直接下一步,等着
在這裏插入圖片描述
如果報錯,參考問題集

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章