windows平臺下安裝配置Hadoop

安裝配置流程

1.下載Hadoop軟件：http://archive.apache.org/dist/hadoop/core/

此處下載版本hadoop-2.7.7，解壓至目錄(D:\job\hadoop\hadoop-2.7.7)

 

   注：如果後續要安裝Spark，那麼最好安裝和Spark版本對應的Hadoop版本

   查看hadoop/spark對應版本：http://spark.apache.org/downloads.html

 

2.下載其他相關文件(編譯後的二進制文件)：https://github.com/steveloughran/winutils

 文件解壓縮後將其中hadoop-2.7.1下的bin目錄移至此處(D:\job\hadoop\hadoop-2.7.7)，去覆蓋原有的bin目錄

 因爲原有的bin目錄下沒有文件(winutils + hadoop.dll)

 注：替換的文件版本要與下載的Hadoop保持對應

 其他下載地址：https://pan.baidu.com/s/1o7YTlJO(文件名：hadooponwindows-master)

 將目錄hadooponwindows-master/bin移至此處(D:\job\hadoop\hadoop-2.7.7)，去覆蓋原有的bin目錄

 

3.配置系統變量和環境變量

(1)系統變量：(變量名)HADOOP_HOME    (變量值)D:\job\hadoop\hadoop-2.7.7

 (2)環境變量(Path)：%HADOOP_HOME%\bin

測試：調出CMD，輸入hadoop，不報錯則配置成功

 

4.將文件D:\job\hadoop\hadoop-2.7.7\bin\hadoop.dll複製到以下位置

              D:\job\hadoop\hadoop-2.7.7\sbin

              C:\Windows\System32

 

5.修改Hadoop配置文件

在修改前創建以下目錄：       D:\job\hadoop\hadoop-2.7.7\data

                                               D:\job\hadoop\hadoop-2.7.7\data\dfs

                                               D:\job\hadoop\hadoop-2.7.7\data\dfs\namenode

                                               D:\job\hadoop\hadoop-2.7.7\data\dfs\datanode

(1)編輯目錄D:\job\hadoop\hadoop-2.7.7\etc\hadoop下的core-site.xml文件

(2) 編輯目錄D:\job\hadoop\hadoop-2.7.7\etc\hadoop下的hdfs-site.xml文件

 (3) 編輯目錄D:\job\hadoop\hadoop-2.7.7\etc\hadoop下的mapred-site.xml文件

(4) 編輯目錄D:\job\hadoop\hadoop-2.7.7\etc\hadoop下的yarn-site.xml文件 

(5) 編輯目錄D:\job\hadoop\hadoop-2.7.7\etc\hadoop下的hadoop-env.cmd文件

 

 注：JAVA_HOME表示Java JDK的安裝目錄(安裝Hadoop前必須安裝JVM)

 

 6.格式化HDFS(調出CMD，輸入命令hdfs namenode -format)

 

7.開啓四個進程(切換至目錄D:\job\hadoop\hadoop-2.7.7\sbin下，以管理員身份輸入命令start-all.cmd)

測試是否開啓成功：輸入命令jps

 

8.測試Hadoop DFS

在瀏覽器地址欄中輸入：http://localhost:50070查看Hadoop狀態

在瀏覽器地址欄中輸入：http://localhost:8088查看集羣狀態 

參考博客：https://www.jianshu.com/p/7dec5b348540