Hadoop分佈式環境搭建（二）

Hadoop僞分佈式環境搭建（二）

　安裝Hadoop

1. 下載hadoop壓縮包

下載地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2. 解壓

cd /usr/local
sudo tar -vxzf hadoop-2.7.3.tar.gz

3. 配置Hadoop環境變量

vi /etc/profile

在最後添加

PATH=$PATH:/usr/local/hadoop-2.7.3/bin

測試

hadoop version

4. 修改配置文件

cd /usr/local/hadoop-2.7.3/etc/hadoop

• hadoop-env.xml

  找到export JAVA_HOME=${JAVA_HOME}所在行

  export JAVA_HOME=/usr/java/jre1.8.0_101

• yarn-env.sh

  export JAVA_HOME=/usr/java/jre1.8.0_101

• core-site.xml

  打開文件，會發現標籤 中是空的，在空的地方添加如下配置

  <property>
      <!-- NameNode 地址-->
  <name>fs.default.name</name>
  <value>hdfs://Master:9000</value>
  </property>
  <property>
      <!--運行時產生文件的存放目錄-->
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
  </property>

• hdfs-site.xml

  <property>
      <!--保存副本的數量-->
  <name>dfs.replication</name>
  <value>1</value>
  </property>

• mapred-site.xml(通過cp mapred-site.xml.template mapred-site.xml 創建)

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

• yarn-site.xml

  <!--NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，纔可運行MapReduce程序-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
  </property>

5. 格式化文件系統

  hdfs namenode -format

6. 啓動hadoop

 cd /usr/local/hadoop-2.7.3/sbin/
 sudo ./start-dfs.sh
 sudo ./start-yarn.sh

7. 驗證

• 命令行方式（需要安裝jdk）

  jps

• 瀏覽器方式

  打開瀏覽器，進入

  http://172.16.58.128:50070

  http://172.16.58.128:8088

• 查看各節點運行情況

  hdfs dfsadmin -report

  ​

  ​