Hadoop安裝部署及問題處理

一、下載Hadoop安裝包

sudo wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz

二、 解壓Hadoop到目錄

 sudo tar -zxvf hadoop-2.7.7.tar.gz -C ../apache/

三、配置文件

​ 1）、core-site.xml配置如下：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/program/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

​ 2）、mapred-site.xml.template配置如下：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

​ 3)、hdfs-site.xml配置如下：

　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/hadoop/program/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/hadoop/program/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

​ 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設置，最好在hadoop.tmp.dir的目錄下面。

補充，如果運行Hadoop的時候發現找不到jdk，可以直接將jdk的路徑放置在hadoop.env.sh裏面，具體如下：export JAVA_HOME="/usr/local/java/jdk1.8.0_60"

四、運行Hadoop

1.初始化HDFS系統

​ 在hadop2.7.7目錄下使用如下命令：

./bin/hdfs namenode -format

2.啓動服務進程

#開啓namenode和datanode
./sbin/start-dfs.sh 
#開啓yarn
./sbin/start-yarn.sh
#開啓日誌服務
./sbin/mr-jobhistory-daemon.sh start historyserver

3、問題處理

錯誤信息

20/05/09 11:12:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

glibc版本問題，按如下更新後可以

[root@test common]# tar -xf glibc-2.17.tar.gz
[root@test common]# cd glibc-2.17
[root@test glibc-2.17]# mkdir build; cd build
[root@test build]# ../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
[root@test build]# make -j 8
[root@test build]# make  install
[root@test common]# strings /lib64/libc.so.6 | grep GLIBC
會看到下面的結果
GLIBC_2.2.5
GLIBC_2.2.6
GLIBC_2.3
GLIBC_2.3.2
GLIBC_2.3.3
GLIBC_2.3.4
GLIBC_2.4
GLIBC_2.5
GLIBC_2.6
GLIBC_2.7
GLIBC_2.8
GLIBC_2.9
GLIBC_2.10
GLIBC_2.11
GLIBC_2.12
GLIBC_2.13
GLIBC_2.14
GLIBC_2.15
GLIBC_2.16
GLIBC_2.17
GLIBC_PRIVATE
————————————————

參考：https://blog.csdn.net/u010003835/article/details/81127984

4、查看WEB UI

​ 在瀏覽器中輸入http://localhost:50070，即可查看相關信息，如下圖：

參考：https://www.cnblogs.com/hello-/articles/9600269.html

5、word count測試

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /test/words /test/wordout

附：常見問題彙總

1、啓動時namenode啓動失敗原因，可能沒有執行下面操作

bin/hdfs namenode -format

附：常用操作命令：

1、離開安全模式方法：執行以下命令即可

​ bin/hadoop dfsadmin -safemode leave

#啓動和停止服務，提示棄用，代替使用下面命令
./sbin/start-all.sh
./sbin/stop-all.sh

#新的啓用
./sbin/start-dfs.sh 
./sbin/start-yarn.sh
#新的停止
./sbin/start-dfs.sh 
./sbin/start-yarn.sh

#開啓日誌服務（start-all or stop all 不包括該服務）
./sbin/mr-jobhistory-daemon.sh start historyserver

#停止日誌服務（start-all or stop all 不包括該服務）
./sbin/mr-jobhistory-daemon.sh stop historyserver

#查看集羣名稱
bin/hdfs getconf -confKey fs.defaultFS

2、Hadoop日誌設置

export HADOOP_ROOT_LOGGER=DEBUG,console

export HADOOP_ROOT_LOGGER=INFO,console