【Hadoop集羣搭建第一期】Ubuntu中的Hadoop及Java環境的安裝和配置

因爲一般情況下虛擬機會使用虛擬內存,所以請將虛擬機安裝到SSD即固態硬盤上,機械硬盤會很慢的

爲了搭建一個僞分佈式的Hadoop集羣,我們需要設置一個master節點和兩個slave節點,這裏先配置master節點,然後將master克隆兩次,作爲slave節點的原型,此後只需要在slave節點上修改配置即可

需要的工具:VMware Workstation Pro,hadoop-3.2.1 ,ubuntu-18.04.3-desktop-amd64

hadoop-3.2.1下載地址:https://pan.baidu.com/s/1FoVP1UlRmMs57_VB7k8ItQ,提取碼:drcp

Ubuntu下載地址:http://mirrors.aliyun.com/ubuntu-releases/18.04.3/

選擇 ubuntu-18.04.3-desktop-amd64.iso(可點擊直接下載),即後面數字最長的那個版本

首先安裝VMware Workstation Pro,【文件】->【新建虛擬機】,加載iso鏡像,安裝Ubuntu,內存建議2G,後期可以改的

安裝vmware tools,方便後期主機和虛擬機直接的數據傳輸,方法鏈接:https://jingyan.baidu.com/article/597a0643356fdc312b5243f6.html

Ubuntu中需要建立hadoop用戶組,在用戶組中新建一個叫master的用戶

以上操作若有不明白的地方,可以自行百度,下面開始進入正題

說明兩點:

1.很多命令前要加sudo,目的是用最高權限執行命令 ,控制檯會提示你輸入密碼,輸入時不會顯示“*”,回車即可

2.編輯配置的時候使用系統自帶的nano編輯器,對於Linux新手很友好,熟練使用vim的老手請自動忽略

正式開始配置:

【第一步】更新軟件列表,安裝ssh免密登錄服務

sudo apt-get update #更新軟件列表
sudo apt-get install openssh-server #安裝ssh免密登錄服務
ssh localhost #測試登錄本機
exit #退出登錄

如果出現了下面兩張圖的結果,說明這一步是正確的

更新軟件列表,安裝ssh

測試

【第二步】安裝Java並配置環境變量

sudo apt-get install default-jre default-jdk #如果下載慢的話,可以更新軟件源(方法自行百度)
sudo nano ~/.bashrc #配置Java環境變量

在配置最開頭輸入
export JAVA_HOME=/usr/lib/jvm/default-java 
後,CTRL+O寫入保存,CTRL+X退出配置

source ~/.bashrc #更新配置

echo $JAVA_HOME #查看Java路徑
java -version #查看Java版本
若成功輸出Java信息,則安裝配置成功

安裝Java

配置環境變量,並檢驗是否安裝成功

修改配置文件

【第三步】安裝Hadoop並配置環境變量

將上面鏈接的hadoop-3.2.1下載到本地
因爲安裝了VMware Tools,所以可以直接拖到虛擬機裏,此處拖入home目錄下

sudo tar -zxf ~/hadoop-3.2.1.tar.gz -C /usr/local #解壓到/usr/local中
cd /usr/local/ #切換當前目錄
sudo mv ./hadoop-3.2.1/ ./hadoop #將文件名改爲hadoop
sudo chown -R hadoop ./hadoop #修改文件權限

sudo nano ~/.bashrc #配置Hadoop環境變量
添加以下兩條語句到Java配置的下面
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc #更新配置
hadoop version #檢查Hadoop是否安裝配置成功
若成功輸出Hadoop版本信息,則安裝配置成功

配置hadoop環境變量

查看hadoop信息

至此,單機上的hadoop和java都已配置好了,下一步就是搭建hadoop集羣

下期再見!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章