雲計算Hadoop配置(一)——系統環境配置

1.1 配置資源需求

²  Linux ubuntu 10.10  

//最新版本可上官方網站免費下載 www.ubuntulinux.org

//也可以向 Ubuntu 社區申請免費安裝 shipit.ubuntu.com

²  Hadoop 0.21.0包

//最新版本可在 Apache 提供的鏡像服務器下載

//www.apache.org → download → 鏡像服務器 →hadoop

²  Sun-java6-jdk 包

//在終端機裏輸入:sudo apt-get install sun-java6-jdk

//系統會自動下載包以及所有的依存包,同時進行包的安裝

²  SSH包

//遠程登錄會話提供安全性協議

//在終端機裏輸入:sudo apt-get install ssh

²  Eclipse包

 //官方下載最新版本:www.eclipse.org/downloads/

1.2 資源配置流程

1.2.1 安裝ubuntu 10.10

1)        更新deb軟件包列表

       $ sudo apt-get update

2)        安裝系統更新

       $ sudo apt-get upgrade

1.2.2 安裝JDK6

1)        安裝

   $ sudo apt-get install sun-java6-jdk      //默認路徑在/usr/lib/jvm,安裝時需要 TAB 鍵選擇 OK

2)        配置Java環境變量

    $ sudo gedit /etc/environment        //在environment文件中添加CLASSPATH和JAVA_HOME

    CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"

    JAVA_HOME="/usr/lib/jvm/java-6-sun"

3)        調整虛擬機順序

        $ sudo gedit /etc/jvm           //添加/usr/lib/jvm/java-6-sun,如果jvm文件不存在,自己創建一個

1.2.3 安裝ssh

1)        安裝open-server

    $ sudo apt-get install open-server

2)        建立SSH KEY

    $ ssh-keygen -t rsa -P ""

3)        啓動SSH KEY

    $ cat $HOME/.ssh/id_rsa.pub >>$HOME/.ssh/authorized_keys

    $ sudo /etc/init.d/ssh reload

4)        驗證ssh配置

    $ ssh localhost

圖1-1 驗證ssh

1.2.4 安裝Hadoop

1)        安裝Hadoop

          $ cd  ~          //選擇進入默認文件夾

         $ sudo tar xvf hadoop-0.21.0.tar.gz //解壓至當前路徑

         $ mv hadoop-0.21.0 hadoop //重命名爲 hadoop

         $ sudo chown -R administrator:administrator hadoop  //賦予administrator權限

2)        配置HADOOP_HOME or HADOOP_COMMON_HOME

    因爲在不同的版本中配置的HADOOP_HOME的名稱不一樣,所以首先查看不同的Hadoop版本用的到底是哪一個名稱的,輸入命令:

     $ vim bin/start-dfs.sh

圖 1-2 查看HADOOP_COMMON_HOME

     從查看文件的標示中可以看出,該版本的hadoop中用的名稱是HADOOP_COMMON_HOME,所以只要配置該名稱的環境變量即可,首先找到Hadoop所安裝的目錄,然後,編輯/etc/environment文件,加入圖1-3所示黑體的一句話即可。

     $ sudo vim /etc/environment

圖1-3 配置HADOOP_COMMON_HOME

3)        配置JAVA_HOME(當前路徑在HADOOP_OME下面)

   配置$HADOOP_HOME/conf/hadoop-env.sh,添加本地JAVA_HOME的路徑。

    $ sudo vim conf/hadoop-env.sh

圖1-4 配置hadoop-env.sh

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章