超詳細的hadoop僞分佈配置教程

創建虛擬機：1


配置靜態ip：2

第一步是首先查看虛擬網絡編輯器。查看網關和起始結束ip

如果不能ping網絡則可能是以下問題：

xshell連接虛擬機：
接下來我們就在usr/local目錄下傳文件

這裏說一下返回上一級目錄的命令是cd..
接下來配置java和hadoop的環境變量但是配置環境變量前要先進虛擬機中原有的java包刪掉
接下來配置ssh無密碼登陸以及主機名和主機和ip映射以及主節點



去到usr/local路徑解壓java和hadoop
關閉防火牆：

查看防火牆狀況 systemctl status firewalld.service

關閉防火牆：systemctl stop firewalld.service

永久關閉防火牆：

systemctl disable firewalld.service

配置環境變量：

#java環境變量
JAVA_HOME=/usr/local/jdk1.8.0_241
HADOOP_HOME=/usr/local/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME

接下來配置hadoop-env.sh
注意配置完後讓它生效不然會報錯

source hadoop-env.sh生效命令

接下來是core-site.xml

core-site.xml:

<configuration>
<property>
<!--用來指定hdfs的老大，namenode的地址-->
    <name>fs.default.name</name>
    <value>hdfs://hadoop01:9000</value>
  </property>
  <property>
<!--用來指定hadoop運行時產生文件的存放目錄。注意目錄是要真實存在的，若沒有則自己創建-->
    <name>hadoop.tmp.dir</name>
    <value>/home/software/hadoop-2.7.1/tmp</value>
  </property>
<!--value的時間單位是分鐘，如果配置成0,表示不開啓HDFS的回收站
         1440=24*60,表示的一天的回收間隔，即文件在回收站存在一天後，被清空-->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>

</configuration>

接下來配置hdfs-site.xml

命令vim hdfs-site.xml

hdfs-site.xml:

<!--指定hdfs保存數據副本的數量，包括自己，默認值是3-->
<!--如果是僞分佈模式，此值是1，因爲只有一臺服務器-->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
<!--設置hdfs的操作權限，false表示任何用戶都可以在hdfs上操作文件-->
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>sql
接下來配置mapred-site.xml

命令vim mapred-site.xml

mapred-site.xml:

<!--指定mapreduce運行在yarn上-->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

接下來配置yarn-site.xml

命令 vim yarn-site.xml

yarn-site.xml:

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
  </property>
<!--NodeManager獲取數據的方式-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

然後到hadoop-2.7.1下創建一個tmp目錄

命令mkdir tmp

最後到了格式化的時候了先打個快照
格式化

格式化hadoop的命令是 hadoop namenode -format
它要在hadoop-2.7.1/etc/hadoop目錄進行格式化

所以使用export命令查看環境變量是否有錯
重新再hadoop-env.sh中聲明環境變量

命令是它的目錄在hadoop-2.7.1/etc/hadoop
命令 vim hadoop-env.sh進入修改JAVA_HOME,HADOOP_CONF_DIR，並執行 source hadoop-env.sh 命令，讓配置立即生效

修改：

#指定jdk的安裝路徑，儘管環境變量PATH配置了JAVA_HOME,但hadoop也需要配置
export JAVA_HOME=/usr/local/jdk1.8.0_241
#hadoop配置文件存放路徑
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.1/etc/hadoop

別忘記執行生效命令

在hadoop-2.7.1下的sbin目錄下啓動hadoop
命令start-all.sh
命令jps查看和java相關的進程出現以下的節點說明配置成功

最後通過web頁面訪問50070

http://192.168.121.111:50070
192.168.121.111是自己的端口

還有在hadoop3.0的版本slaves改爲了workers