Hadoop-2.5.0 僞分佈式搭建

一、準備

• 1.ubuntu 16.04的系統一臺。
• 2.jdk-8u121-linux-x64.tar.gz
• 3.hadoop-2.5.0.tar.gz

二、安裝JDK

• 1.安裝

# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/jvm

• 2.配置java環境變量

# vim /etc/profile

JAVA_HOME=/usr/local/jvm/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

• 3.使配置文件生效

# source /etc/profile

三、安裝hadoop 2.5.0

• 1.安裝

# tar -zxvf hadoop-2.5.0.tar.gz -C /usr/local/hadoop

• 2.配置hadoop環境變量

# vim /etc/profile

HADOOP_HOME=/usr/local/hadoop/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}

• 3.使配置文件生效

# source /etc/profile

• 4.創建hadoop需要的目錄

# mkdir -p /home/hadoop
# mkdir -p /home/hadoop/hadoop-2.5.0
# mkdir -p /home/hadoop/hadoop-2.5.0/tmp
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs/name
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs/data

• 5.修改配置文件（細心）

①

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jvm/jdk1.8.0_121

②

vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加如下記錄

在<configuration></configuration>之間加入如下記錄：
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/tmp</value>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

③

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加如下記錄

在<configuration></configuration>之間加入如下記錄：
<property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/dfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

④

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml.template

添加如下記錄

在<configuration></configuration>之間加入如下記錄：
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

複製

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

⑤

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加如下記錄

在<configuration></configuration>之間加入如下記錄：
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

⑥

vim /usr/local/hadoop/etc/hadoop/slaves

刪除文件中的記錄並添加如下記錄

localhost

• 6.格式化HDFS文件系統

cd /usr/local/hadoop/hadoop-2.5.0 && bin/hdfs namenode -format

• 7.啓動hadoop集羣和停止hadoop集羣

/usr/local/hadoop/sbin/start-all.sh     //啓動
/usr/local/hadoop/sbin/stop-all.sh     //停止

• 8.在hadoop集羣啓動着的情況下執行jps指令查看輸出，如果看見如下輸出說明搭建成功。

Jps
NameNode
SecondaryNameNode
DataNode
NodeManager
ResourceManager

• 9.圖形管理
  當前IP地址：50070 —> 管理HDFS
  當前IP地址：8088 —> 管理MapReduce

四、HDFS常用的指令

hadoop fs -mkdir /input/ -->在hadoop上創建文件夾
hadoop fs -rmdir /input/ -->在hadoop上刪除文件夾
hadoop fs -ls / -->查看hadoop/目錄下的文件
hadoop fs -rm /test.txt -->刪除test.txt文件
hadoop fs -get /test.txt -->從hadoop下載test.txt文件到當前目錄
hadoop fs -put test.txt / --> 上傳test.txt文件到hadoop/目錄

Over