Hadoop僞分佈式安裝體驗

這段時間有空想研究MapReduce，於是選擇安裝Hadoop。只有一臺機器，就選擇了僞分佈式安裝。

1、從官網下載Hadoop2.2

2、把安裝包解壓到當前用戶名的主目錄下。（也可以把Hadoop解壓放置到其他地方，但是請確保該文件夾的所有者是執行hadoop操作的用戶）

3、設置ssh的無密碼訪問，詳情請移步這裏

4、安裝JAVA環境，詳情請移步這裏

5、對Hadoop的設置：

 下面四個文件在hadoop/etc/hadoop文件夾下：

 5.1 設置core-site.xml

      添加如下內容：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

5.2設置mapred-site.xml

安裝包裏沒有該文件，只有mapred-site.xml.template，拷貝一份爲mapred-site.xml即可，在mapred-site.xml中添加如下內容 ：

 

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

5.2 設置hdfs-site.xml

添加如下內容：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

5.3 設置hadoop-env.sh
     如果在安裝java時沒設置JAVA_HOME，那在hadoop-env.sh文件添加如下內容：

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/jdk1.7.0_45

在core-site.xml和mapred-site.xml中分別指定了NameNode和JobTracker的主機名與端口。在hdfs-site.xml只能指定了HDFS的默認副本數，因爲僅僅運行在一個節點上，這裏副本爲1.

如果把上述5步都設置完了，安裝僞分佈式安裝基本完成。執行以下操作看效果：

1. hadoop@node1:~/hadoop$ bin/hadoop namenode -format

正常輸出如下：

        ......(一大堆省略)

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node1/127.0.1.1
************************************************************/

2. hadoop@node1:~/hadoop$ sbin/start-all.sh 

輸出如下：

hadoop@node1:~/hadoop$ sbin/start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-namenode-node1.out
localhost: starting datanode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-datanode-node1.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop/logs/hadoop-hadoop-secondarynamenode-node1.out
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop/logs/yarn-hadoop-resourcemanager-node1.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop/logs/yarn-hadoop-nodemanager-node1.out

3. hadoop@node1:~/hadoop$ jps

輸出如下：

hadoop@node1:~/hadoop$ jps 
2035 NameNode
2933 Jps
2248 DataNode
2888 NodeManager
2664 ResourceManager
2513 SecondaryNameNode
hadoop@node1:~/hadoop$ 

可以看到，jps命令列出素有守護進程。安裝成功。