安裝ssh
$ sudo apt-get install ssh
$ sudo apt-get install rsync
生成密鑰用於無密碼登陸
ssh-keygen -C "[email protected]" -t rsa
cat
~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod
644 authorized_keys
驗證SSH是否可用
ssh localhost
如果返回 Agent admitted failure to sign using the key解決辦法：
ps -aux|grep agent察看ssh-agent有無運行，如果沒有運行
~/.ssh$
ssh-agent
~/.ssh$
ssh-add id_rsa
安裝
hadoop-1.0.3.tar.gz
解壓
~/.bashrc 文件最後一行加入：
HADOOP_HOME= /etc/hadoop
PATH=$PATH:$HADOOP_HOME/bin
source ./bashrc
修改配置文件，指定JDk安裝路徑
vi conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk-7
修改Hadoop核心配置文件core-site.xml，這裏配置的是HDFS的地址和端口號
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改Hadoop中HDFS的配置，配置的備份方式默認爲3，因爲安裝的是單機版，所以需要改爲1
vi conf/hdfs-site.xml
<configuration>
//ClientDatanodeProtocol 調用getBlockLocalPathInfo的時候會拋出
//org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException:
<property>
<name>dfs.block.local-path-access.user</name>
<value>lv</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
：確保指定的幾個目錄權限，否則會有datanode啓動不了等問題
:重新format的時候要清空下面的/dfs/data文件夾否則會報如下錯誤：File /master/m03
could only be replicated to 0 nodes, instead of 1
<name>hadoop.tmp.dir</name>
<value>/home/larry/tmp</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/larry/hdfs</value>
</property>
<property>
:該目錄下的fsimage和fsedit保存着url與blockid的映射等，需要備份
<name>dfs.name.dir</name>
<value>/home/larry/namenode</value>
</property>
<property>
</configuration>
修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下來，啓動Hadoop，在啓動之前，需要格式化Hadoop的文件系統HDFS，進入Hadoop文件夾，輸入下面命令
bin/hadoop namenode -format
:不要用sudo ，否則會namenode.FSNamesystem: fsOwner=root，導致在啓動hadoop的時候需要輸入root密碼
然後啓動Hadoop，輸入命令
bin/start-all.sh
bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式
這個命令爲所有服務全部啓動。
最後，驗證Hadoop是否安裝成功。打開瀏覽器，分別輸入一下網址：
http://localhost:50030 (MapReduce的Web頁面)
http://localhost:50070 (HDfS的web頁面)