1.1 配置資源需求
² Linux ubuntu 10.10
//最新版本可上官方網站免費下載 www.ubuntulinux.org
//也可以向 Ubuntu 社區申請免費安裝 shipit.ubuntu.com
² Hadoop 0.21.0包
//最新版本可在 Apache 提供的鏡像服務器下載
//www.apache.org → download → 鏡像服務器 →hadoop
² Sun-java6-jdk 包
//在終端機裏輸入:sudo apt-get install sun-java6-jdk
//系統會自動下載包以及所有的依存包,同時進行包的安裝
² SSH包
//遠程登錄會話提供安全性協議
//在終端機裏輸入:sudo apt-get install ssh
² Eclipse包
//官方下載最新版本:www.eclipse.org/downloads/
1.2 資源配置流程
1.2.1 安裝ubuntu 10.10
1) 更新deb軟件包列表
$ sudo apt-get update
2) 安裝系統更新
$ sudo apt-get upgrade
1.2.2 安裝JDK6
1) 安裝
$ sudo apt-get install sun-java6-jdk //默認路徑在/usr/lib/jvm,安裝時需要 TAB 鍵選擇 OK
2) 配置Java環境變量
$ sudo gedit /etc/environment //在environment文件中添加CLASSPATH和JAVA_HOME
CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"
JAVA_HOME="/usr/lib/jvm/java-6-sun"
3) 調整虛擬機順序
$ sudo gedit /etc/jvm //添加/usr/lib/jvm/java-6-sun,如果jvm文件不存在,自己創建一個
1.2.3 安裝ssh
1) 安裝open-server
$ sudo apt-get install open-server
2) 建立SSH KEY
$ ssh-keygen -t rsa -P ""
3) 啓動SSH KEY
$ cat $HOME/.ssh/id_rsa.pub >>$HOME/.ssh/authorized_keys
$ sudo /etc/init.d/ssh reload
4) 驗證ssh配置
$ ssh localhost
圖1-1 驗證ssh
1.2.4 安裝Hadoop
1) 安裝Hadoop
$ cd ~ //選擇進入默認文件夾
$ sudo tar xvf hadoop-0.21.0.tar.gz //解壓至當前路徑
$ mv hadoop-0.21.0 hadoop //重命名爲 hadoop
$ sudo chown -R administrator:administrator hadoop //賦予administrator權限
2) 配置HADOOP_HOME or HADOOP_COMMON_HOME
因爲在不同的版本中配置的HADOOP_HOME的名稱不一樣,所以首先查看不同的Hadoop版本用的到底是哪一個名稱的,輸入命令:
$ vim bin/start-dfs.sh
圖 1-2 查看HADOOP_COMMON_HOME
從查看文件的標示中可以看出,該版本的hadoop中用的名稱是HADOOP_COMMON_HOME,所以只要配置該名稱的環境變量即可,首先找到Hadoop所安裝的目錄,然後,編輯/etc/environment文件,加入圖1-3所示黑體的一句話即可。
$ sudo vim /etc/environment
圖1-3 配置HADOOP_COMMON_HOME
3) 配置JAVA_HOME(當前路徑在HADOOP_OME下面)
配置$HADOOP_HOME/conf/hadoop-env.sh,添加本地JAVA_HOME的路徑。
$ sudo vim conf/hadoop-env.sh
圖1-4 配置hadoop-env.sh