hadoop 僞分佈式安裝

一.設置操作系統環境
1.設置ip地址
1)通過centos桌面操作
使用命令ifconfig查看ip地址
當修改了ip之後，使用命令service network restart重新啓動網絡服務
vi /etc/sysconfig/network-scripts/ifcfg-eth0
2.設置主機名
hostname查看主機名稱
vi /etc/sysconfig/network
綁定主機名到ip上
vi /etc/hosts增加一行記錄192.168.119.50 hadoop0
3.關閉防火牆
service iptables stop
4.關閉防火牆的自啓動功能
chkconfig –list |grep iptables
chkconfig iptables off
5.設置SSH免密碼登錄
ssh-keygen -t rsa
ssh-copy-id -i localhost
6.安裝jdk
把jdk-7u79-linux-x64.tar.gz放到linux的/usr/local目錄下
執行命令tar -zxvf jdk-7u79-linux-x64.tar.gz解壓縮
執行命令vi /etc/profile 增加兩行內容，分別是

  export JAVA_HOME=/usr/local/jdk1.7.0_79
  export PATH=.:$JAVA_HOME/bin:$PATH

保存退出。執行命令source /etc/profile
執行命令java -version查看剛纔操作是否生效。

二.HDFS僞分佈搭建

修改配置文件etc/hadoop/hadoop-env.sh:
JAVA_HOME=/usr/local/jdk1.7.0_79 ###2.3版本不需要配置

修改配置文件etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.119.50:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.6.0/tmp</value>    
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>  

修改配置文件etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

格式化文件系統:
$ bin/hdfs namenode -format

啓動HDFS集羣:
$ sbin/start-dfs.sh

訪問web瀏覽器:
NameNode - http://hadoop0:50070/

練習：
創建目錄:
bin/hdfsdfs−mkdir/user bin/hdfs dfs -mkdir /user/root
複製文件:
$ bin/hdfs dfs -put /etc/profile input

關閉集羣:
$ sbin/stop-dfs.sh

三.安裝Yarn

修改配置文件etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改配置文件etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

啓動Yarn集羣:
$ sbin/start-yarn.sh

訪問web瀏覽器:
ResourceManager - http://hadoop0:8088/

運行例子:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output

查看結果：
$ bin/hdfs dfs -cat output/*

關閉Yarn集羣:
$ sbin/stop-yarn.sh