安裝hadoop2.6.0（僞分佈式）

環境如下
linux版本：CentOS 7.5.1804
jdk版本：jdk1.8.0_201
hadoop版本：hadoop-2.6.0-cdh5.10.0

一、JDK

請參考文章 JDK1.8安裝

二、設置免密碼登錄

# ssh-keygen -t rsa -P ""
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

---

二、安裝Hadoop

Hadoop我選用了cdh2.6.0的版本
下載地址直接去官方下載就行
官方地址：https://archive.cloudera.com/cdh5/cdh/5/
或是直接點擊此鏈接進行下載 hadoop-2.6.0-cdh5.10.0.tar.gz

下載後將壓縮包上傳到服務器的制定路徑（如果不清楚如何操作的可查看文章：通過 Xshell 上傳文件到服務器 rzsz）

解壓

tar -zxvf hadoop-2.6.0-cdh5.10.0.tar.gz

配置環境變量

修改 /etc/profile 文件：

vim /etc/profile

在文件中加入以下內容：

export HADOOP_HOME=~/lib/hadoop-2.6.0-cdh5.10.0
export HADOOP_PREFIX=$HADOOP_HOME                     
export HADOOP_MAPRED_HOME=$HADOOP_HOME                                     
export HADOOP_COMMON_HOME=$HADOOP_HOME                                 
export HADOOP_HDFS_HOME=$HADOOP_HOME                                 
export HADOOP_YARN_HOME=$HADOOP_HOME                                      
export HADOOP_LIB=$HADOOP_HOME/lib                              
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop           
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改 PATH，添加hadoop操作路徑
例如：

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注：HADOOP_HOME是你的 hadoop 安裝的根目錄

跟新配置

source /etc/profile

配置hadoop（僞分佈式配置）

進入 hadoop-2.6.0-cdh5.10.0/etc/hadoop/ 文件

cd ~/lib/hadoop-2.6.0-cdh5.10.0/etc/hadoop/

1. 修改 hadoop-env.sh 文件

vim hadoop-env.sh

添加

export JAVA_HOME=~/lib/jdk1.8.0_201

2. 修改 core-site.xml 文件

vim core-site.xml

添加

<configuration>
    <property>                                                        
        <name>hadoop.tmp.dir</name>  <!-- 臨時目錄 --> 
        <value>file:/root/hadoop/tmp</value> 
    </property>                                                                
    <property>                                                                 
        <name>fs.defaultFS</name>                                              
        <value>hdfs://localhost:9000</value>                                   
    </property>               
</configuration>

3. 修改 hdfs-site.xml 文件

vim hdfs-site.xml

添加

<configuration>
    <property>                                              
        <name>dfs.replication</name>                         
        <value>1</value>  <!-- 由於是僞分佈式，節點數僅爲1-->
    </property>                                     
    <property>                                    
        <name>dfs.namenode.name.dir</name>  <!-- namenode目錄-->
        <value>file:/root/hadoop/tmp/dfs/name</value>
    </property>                       
    <property>                          
        <name>dfs.datanode.data.dir</name>  <!-- datanode目錄 -->
        <value>file:/root/hadoop/tmp/dfs/data</value>
    </property>                       
</configuration> 

格式化Hadoop

格式化 namenode

hadoop namenode -format

啓動Hadoop

start-all.sh

狀態監測

 jps

顯示所有進程啓動成功
（注：由於是僞分佈式配置，所以 NameNode 和 DataNode 同時存在）

測試

# hadoop fs -ls /              #查看hdfs的/目錄
# hadoop fs -mkdir /user       #在hdfs創建目錄user
# hadoop fs -put a.out /user   #在hdfs的/user下上傳文件a.out
# hadoop fs -get /user/a.out   #下載a.out文件到本地

沒有報錯，顯示正常，安裝完成

–> 關閉hadoop

# stop-all.sh

---

青冥有曉月