【hadoop學習筆記】1.hadoop安裝

環境：Ubuntu11.4 

 

準備工作：

a.先安裝jdk

b.修改/etc/hosts，綁定 10.16.110.7     master （最好不要用127.0.0.1 localhost 後面會出現意想不到的錯誤）

 

1.下載hadoop-1.0.2

在linux下執行 wget http://apache.etoak.com/hadoop/common/hadoop-1.0.2/hadoop-1.0.2.tar.gz

解壓 tar zxvf hadoop-1.0.2.tar.gz   

cd hadoop-1.0.2/目錄

 

2、配置hadoop僞分佈式環境，運行hadoop

 進入conf目錄

 修改conf/core-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

 <property>
         <name>fs.default.name</name>
         <value>hdfs://master:9000</value>
     </property>

</configuration>
~                    

<!-- fs.default.name - 這是一個描述集羣中NameNode結點的URI(包括協議、主機名稱、端口號)，集羣裏面的每一臺機器都需要知道NameNode的地址。DataNode結點會先在NameNode上註冊，這樣它們的數據纔可以被使用。獨立的客戶端程序通過這個URI跟DataNode交互，以取得文件的塊列表。-->

 

修改conf/mapred-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
         <name>mapred.job.tracker</name>
         <value>master:9001</value>
     </property>
</configuration>

<!-- mapred.job.tracker -JobTracker的主機（或者IP）和端口。-->

 

修改conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

<!-- dfs.replication -它決定着 系統裏面的文件塊的數據備份個數。對於一個實際的應用，它 應該被設爲3（這個數字並沒有上限，但更多的備份可能並沒有作用，而且會佔用更多的空間）。少於三個的備份，可能會影響到數據的可靠性(系統故障時，也許會造成數據丟失)-->

 

修改conf/hadoop-env.sh  配置JAVA_HOME  export JAVA_HOME=/home/yongkang/tools/java

 

在/conf/master中加入主機的ip  10.16.110.7

在/conf/salves中加入slaves機器 10.16.110.7

 

運行：

格式化分佈式文件系統：$ bin/hadoop namenode –format 

 

 

啓動hadoop進程：$ bin/start-all.sh
是否啓動成功，可訪問以下url
NameNode – http://10.16.110.7:50070/

JobTracker – http://10.16.110.7:50030/

如果不能訪問，檢查logs目錄下的日誌分析原因。

 

正常運行後，執行jps命令，應該可以看到有5個hadoop相關進程

:yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$2>yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$ jps
26999 Jps
11937 SecondaryNameNode
11413 NameNode
12024 JobTracker
12281 TaskTracker
11662 DataNode