配置hadoop環境(三)

不知道爲什麼我的vim突然不能用了,我先裝一下vim(切換到root用戶下安裝)
yum -y install vim*
在這裏插入圖片描述
出現complete表示完成安裝!

接下來配置hadoop環境,每一個步驟都很關鍵,不能錯了!!!
(1)關閉selinux vim /etc/selinux/config
SELINUX=disabled
在這裏插入圖片描述
(2)切換到hadoop用戶,配置免密登陸。
cd 進入hadoop用戶的目錄
ssh-keygen -t rsa [輸入完後連按4個回車]
在這裏插入圖片描述
ssh 主機名 [yes,輸入hadoop用戶的密碼]
ssh-copy-id 主機名 [輸入hadoop用戶的密碼]
在這裏插入圖片描述
3.解壓軟件包到/opt/module(這裏需要xftp工具將這三個壓縮包上傳到hadoop的家目錄下)
cd
tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /opt/module/
tar -zxvf ./hadoop-2.10.0.tar.gz -C /opt/module/
tar -zxvf ./apache-hive-3.1.1-bin.tar.gz -C /opt/module/

4.編輯環境變量(先進入家目錄,隱藏文件以.開頭)
vim ~/.bash_profile
在文件末尾添加
在這裏插入圖片描述
5.重新加載該文件,使環境變量生效
source ~/.bash_profile

如何使用以下兩個命令檢查java和hadoop的版本
java -version
hadoop version
在這裏插入圖片描述
6.修改hadoop的配置文件
cd /opt/module/hadoop-2.10.0/etc/hadoop
(1)vim ./hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202
在這裏插入圖片描述
(2)vim ./mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202
在這裏插入圖片描述
(3)vim ./yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_202
在這裏插入圖片描述
(4)vim ./core-site.xml
在這裏插入圖片描述
(5)vim ./hdfs-site.xml
在這裏插入圖片描述
(6)先複製一份,再編輯
cp ./mapred-site.xml.template ./mapred-site.xml
vim ./mapred-site.xml
在這裏插入圖片描述
(7).vim ./yarn-site.xml
在這裏插入圖片描述
(8)vim ./slaves
將裏面的localhost修改爲你的主機名

7.格式化hadoop集羣
在XX主機名這臺機器上執行:hdfs namenode -format

8.啓動/關閉hadoop集羣
執行:start-all.sh
執行:stop-all.sh
在這裏插入圖片描述
使用jps來檢查
在這裏插入圖片描述
出現這6個就表示安裝成功了。(我哭,昨晚搞了一個晚上都沒有搞成功)
9.驗證集羣
192.168.5.XXX:50070 # 訪問Hadoop默認的地址
在這裏插入圖片描述
192.168.5.XXXX:8088 # 訪問apache
在這裏插入圖片描述9.Hive的安裝
hive --version
在hdfs上創建hive數據存放目錄
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
在這裏插入圖片描述
在hive的軟件目錄下執行初始化命令 (需要進入hive目錄 cd /opt/module/apache-hive-3.1.1-bin)
bin/schematool -dbType derby -initSchema
在這裏插入圖片描述
初始化成功後就會在hive的安裝目錄下生成derby.log日誌文件和metastore_db元數據庫
使用ls查看下
在這裏插入圖片描述
10.進入hive檢查是否是真的成功了。(在前面那步的基礎上選擇bin/hive)
在這裏插入圖片描述
出現這個就表示成功了。
太感動了,一邊配置,一邊把步驟記下來,還是這種方法有效,昨晚搞了一晚上都沒有成功,頭髮都要掉光了。。。

一個小白,安裝步驟是網上資源,自己安裝後再總結的,如有侵權,請聯繫我刪除,謝謝!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章