Hadoop僞分佈式部署

目錄

• Hadoop僞分佈式
• 所需文件
• jdk配置
• ssh免密登陸
• Hadoop環境變量
• 配置Hadoop相關文件
  • hadoop-env.sh
  • core-site.xml
  • hdfssite.xml
  • mapred-site.xml
  • yarn-site.xml
• 啓動Hadoop

Hadoop僞分佈式

Hadoop僞分佈式，單節點，Hadoop的守護進程(NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker)全部運行在一個節點上，相互獨立，模擬一個集羣。

所需文件

jdk-8u231-linux-x64.tar.gz
hadoop-3.2.1.tar.gz

jdk配置

軟件包都在opt目錄裏

ln -s jdk1.8.0_231 jdk   #感覺文件名字太長可以創建一個軟鏈接容易記憶

vim /etc/profile                 #編輯系統配置文件
export JAVA_HOME=/opt/jdk        #在文件最後添加配置
export PATH=$PATH:$JAVA_HOME/bin 

網上好多都配置了classpath其實早在jdk1.5官方就已經說明不必配置classpath

source /etc/profile  #配置後需要執行一下才能生效,使用jps命令驗證成功

ssh免密登陸

ssh-keygen -t rsa  #使用此命令一直回車，密鑰及公鑰就存在/root/.ssh裏

cd /root/.ssh			
cat id_rsa.pub >> authorized_keys    #授權密鑰

ssh root@ip地址      #無需密碼就可以登陸進去表示成功，exit退出

Hadoop環境變量

tar -zxvf hadoop-3.2.1.tar.gz		#同jdk配置一樣，解壓壓縮包
ln -s hadoop-3.2.1 hadoop			#創建軟鏈接
vim /etc/profile                    #配置環境變量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME=/sbin
source /etc/profile					#執行文件，命令行輸入hadoop驗證配置成功

配置Hadoop相關文件

說明：此處配置可以參考官網的默認配置來配置
Hadoop配置文件全部在 /opt/hadoop/etc/hadoop
本文所出現的weekeight可換成自己的hostname

hadoop-env.sh

vim hadoop-env.sh			#在此文件再次配置Java的路徑

core-site.xml

core-site.xml的全部默認配置項,可進行參考來配置
在文件的最後的configuration標籤裏添加一下配置
1.指定HDFS的的路徑地址
2.hadoop的工作目錄，存放hadoop進程的臨時文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://weekeight:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/var/hadoop</value>
</property>

hdfssite.xml

hdfssite.xml的全部默認配置項,可進行參考來配置
1.指定副本數（默認爲3，僞分佈式指定1就行）
2.指定namenode當前數據的目錄(路徑需爲hadoop.tmp.dir配置的目錄下)
3.指定datanode當前數據的目錄（同上）
4.namenode將監聽的地址和基本端口(3.0以後的端口都是9870，之前版本大多50070)

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/var/hadoop/dfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/var/hadoop/dfs/data</value>
</property>
<property>
        <name>dfs.namenode.http-address</name>
        <value>weekeight:9870</value>
</property>

mapred-site.xml

mapred-site.xml的全部默認配置項,可進行參考來配置
1.執行MapReduce時官方默認的爲local（本地）

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

yarn-site.xml

yarn-site.xml的全部默認配置項,可進行參考來配置

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

啓動Hadoop

所有的配置都已經配置完了，我們剩下的步驟只剩格式化，啓動，驗證。

格式化,出現圖中字樣格式化成功。

hdfs namenode -format			#格式化

start-dfs.sh      #啓動,啓動後使用jps驗證

啓動時出現錯誤，參考Hadoop單點安裝FAQ

也可以在網站上打開weekeight:9870(此處爲自己設置的)

可以打開表示部署成功。