hadoop1.2.1僞分佈模式配置

創建時間： 2016/3/1 10:13
更新時間： 2016/3/1 10:14

配置java環境變量和hadoop

HADOOP_INSTALL=/opt/hadoop-1.2.0/
JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre 
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$HADOOP_INSTALL/bin:$PATH

配置hadoop-env.sh:

首先我們用vi hadoop-env.sh命令編輯打開hadoop-env.sh文件，找到JAVA_HOME關鍵字所在的行，把前面的#號去掉，然後填寫實際的JAVA_HOME地址：

export  JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre

1、修改core-site.xml，配置hdfs

<configuration>
<property>
     <name>fs.default.name</name>
     <value>hdfs://139.129.42.119:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/lei/tmp</value>
</property>

</configuration>

2、修改hdfs-site.xml，配置數據備份

<configuration>
     <property>

          <name>dfs.data.dir</name>  

          <value>/home/lei/appdata/hadoopdata</value>

     </property>

 <!--配置HDFS存儲目錄,數據存放目錄,用於datanode存放數據-->

   <property>

          <name>dfs.name.dir</name>

          <value>/home/lei/appdata/hadoopname</value>

     </property>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、修改mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

4、配置ssh

注：因爲僞分佈模式下，即使所有節點都在一臺機器上，hadoop也需要通過ssh登錄，這一步的目的是配置本機無密碼ssh登錄

命令行：ssh-keygen -t rsa

然後一路回車

cd ~/.ssh

cat id_rsa.pub>>authorized.keys

測試：ssh localhost

首次運行會提示是否繼續，輸入yes，回車，如果不要求輸入密碼，就表示成功了