Ubuntu13.04安裝Hadoop集羣環境

1.配置hosts

通過命令:sudo vim /etc/hosts,按照實際情況配置hosts


2.安裝JDK,具體可以參考網上:http://blog.csdn.net/long1657/article/details/9265949
3.安裝SSH:具體參考網上資料:http://blog.csdn.net/long1657/article/details/9266037
4.hadoop的安裝和配置
<1>.下載並解壓Hadoop安裝包,選擇0.20.2版本
把你的hadoop-0.20.2.tar.gz拷貝到你要安裝hadoop的目錄,通過下面的命令解壓文件
tar zxvf hadoop-0.20.2.tar.gz
 
<2>.進入Hadoop的解壓目錄,編輯conf/hadoop-env.sh文件(注意在.23版本升級後配置文件位置有所變化)
#The java implmentation to use. Required.
export JAVA_HOME=/usr/lib/jvm/java



<3>.編輯conf目錄下core-site.xml,hdfs-site.xml和mapred-site.xml三個核心配置文件
core-site.xml:
<!--core-site主要修改的是
fs.defualt.name:對應的是NameNode的IP地址和端口
-->
<configuration>
<property>
    <name>fs.defualt.name</name>
    <value>hdfs://localhost:9000</>
<!--value 如果是完全分佈式這邊需要爲名稱節點的真是IP-->

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/long1657/hadoop/tmp</value>

</property>

</configuration>



<!--hdfs-site主要修改的是數據保存目錄和-->
<configuration>
<property>
<!--dfs.data.dir保存的是hadoop數據保存的目錄-->
    <name>dfs.data.dir</name>
    <value>/home/long1657/hadoop/data</value>
</property>
<property>
<!--dfs.replication:分佈式文件系統裏需要把數據備份,同時會往好幾個節點裏寫,僞分佈式爲1-->
    <name>dfs.replication</name>
    <value>1</value>
</property>

</configuration>

配置mapred-site.xml


<4>.格式化HDFS


存在name has been successfully formatted表示格式化成功

<5>.使用bin/start-all.sh啓動Hadoop


判斷啓動是否成功


在namenode節點中通過:java_home/bin/jps來查看是否存在NameNode,JobTracker,SeconderyNameNode,三個進程,在datanode中,通過相同的命令查看(java_home/bin/jps)是否存在DataNode,TaskTracker進程,

最後,在瀏覽器中輸入namenode節點的IP:50030,出現下面界面:


安裝並啓動成功。

<6>.使用bin/stop-all.sh關閉Hadoop

(注:本文章爲Hadoop的完全分佈式安裝,重系統安裝到Hadoop的安裝,需要很多步驟,上文只是用來參考,不可完全照抄,否則容易引起失敗)

發佈了30 篇原創文章 · 獲贊 10 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章