Windows下配置Hadoop環境詳解

原創

2020-06-21 07:23

首先到官方下載官網的hadoop2.7.7,鏈接如下
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
找網盤的hadooponwindows-master.zip
鏈接如下
https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
提取碼：y9a4
把hadoop-2.7.7.tar.gz解壓後
使用hadooponwindows-master的bin和etc替換hadoop2.7.7的bin和etc
配置JAVA_HOME

注意：安裝Hadoop2.7.7
　　官網下載Hadoop2.7.7，安裝時注意，最好不要安裝到帶有空格的路徑名下，例如:Programe Files，否則在配置Hadoop的配置文件時會找不到JDK（按相關說法，配置文件中的路徑加引號即可解決，但我沒測試成功）。
配置HADOOP_HOME

path添加%HADOOP_HOME%\bin（win10不用分號或者如下編輯界面不用分號，其餘加上；）

使用編輯器打開E:\Hadoop2.7.7\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路徑
把set JAVA_HOME改爲jdk的位置
注意其中PROGRA~1代表Program Files
set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171

打開 hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改路徑爲hadoop下的namenode和datanode

dfs.replication
1

dfs.namenode.name.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/namenode

dfs.datanode.data.dir
/E:/Hadoop2.7.7/hadoop-2.7.7/data/datanode

在E:\Hadoop-2.7.7目錄下添加tmp文件夾
在E:/Hadoop2.7.7/hadoop-2.7.7/添加data和namenode，datanode子文件夾

還需要把hadoop.dll（從）拷貝到 C:\Windows\System32

不然在window平臺使用MapReduce測試時報錯
以管理員身份打開命令提示符
輸入hdfs namenode -format,看到seccessfully就說明format成功

轉到Hadoop-2.7.3\sbin文件下
輸入start-all，啓動hadoop集羣
出現下面四個窗口表示啓動hadoop集羣成功
輸入jps - 可以查看運行的所有節點
訪問http://localhost:50070,訪問hadoop的web界面
訪問http://localhost:8088,訪問yarn的web界面，有就表明已經成功
補充：停止運行的所有節點的命令爲
————————————————
原文鏈接：https://blog.csdn.net/qq_35535690/article/details/81976032