一、Ubuntu14.04下安裝Hadoop2.4.0 (單機模式)

一、在Ubuntu下創建hadoop組和hadoop用戶

    增加hadoop用戶組,同時在該組裏增加hadoop用戶後續在涉及到hadoop操作時,我們使用用戶

1、創建hadoop用戶組

        

 

 

    2、創建hadoop用戶

    sudo adduser -ingroup hadoop hadoop

    回車後會提示輸入新的UNIX密碼,這是新建用戶hadoop的密碼輸入回車即可。

    如果不輸入密碼,回車後會重新提示輸入密碼,即密碼不能爲空。

    最後確認信息是否正確,如果沒問題,輸入 Y,回車即可。

    

 

 

 

 

 

 

 

 

 

 

 

 

  


 3、爲hadoop用戶添加權限

     輸入:sudo gedit /etc/sudoers

     回車,打開sudoers文件

     給hadoop用戶賦予和root用戶同樣的權限

 

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



二、用新增加的hadoop用戶登錄Ubuntu系統

三、安裝ssh

sudo apt-get install openssh-server

 

 

 

 

 

 

 

 

 

 

 

 





安裝完成後,啓動服務

sudo /etc/init.d/ssh start

查看服務是否正確啓動:ps -e | grep ssh

 

 

 

 

 

 

設置免密碼登錄,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 





此時會在/home/hadoop/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者爲私鑰,後者爲公鑰。

下面我們將公鑰追加到authorized_keys中,它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

 

登錄ssh

ssh localhost

 

 

 

 

 

 

 

 

 

 

      




退出

exit

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 







查看安裝結果,輸入命令:java -version,結果如下表示安裝成功。

 

 

 

 

五、安裝hadoop2.4.0

    1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

    2、安裝

        解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下,文件夾爲hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

        

 

賦予用戶對該文件夾的讀寫權限

        sudo chmod 774 /usr/local/hadoop

    

 

3、配置

        1)配置~/.bashrc

配置該文件前需要知道Java的安裝路徑,用來設置JAVA_HOME環境變量,可以使用下面命令行查看安裝路徑

        update-alternatives - -config java

        執行結果如下:

        

    

 

 

完整的路徑爲

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    該命令會打開該文件的編輯窗口,在文件末尾追加下面內容,然後保存,關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

最終結果如下圖:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 






執行下面命,使添加的環境變量生效:

        source ~/.bashrc

2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

        執行下面命令打開該文件的編輯窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量,修改此變量如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

六、WordCount測試

單機模式安裝完成,下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

    /usr/local/hadoop路徑下創建input文件夾    

mkdir input

    拷貝hadoop doc 中的README.txt到input    

cp README.txt input

    執行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

    

 

 


執行結果:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 







執行 cat output/*,查看字符統計結果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章