Hadoop僞分佈環境搭建——Hadoop安裝與配置

    我們需要從官網下載hadoop  點擊打開鏈接  我自己下載的是最新的版本 hadoop 2.7.1。

    下載完成後就開始安裝了:

    使用  sudo tar xzf hadoop-2.7.1.tar.gz 命令將文件解壓縮。在 /usr/local 目錄下創建一個 hadoop 文件夾,然後將文件拷貝到這裏來。

    sudo mv hadoop-2.7.1 /usr/local/hadoop 

    賦予用戶對該文件夾的讀寫權限:sudo chmod 774 /usr/local/hadoop

    配置

   (1)配置 ~/.bashrc

    配置該文件要知道Java的安裝的路徑,以便設置環境變量。可使用如下命令查看安裝路徑:

    update-alternatives - -config java 這個是我的機器上的Java安裝路徑

    

    找到路徑之後就可以開始配置文件:sudo gedit ~/.bashrc

    打開編輯窗口,在文件末尾添加下列內容,然後保存退出。

    

    (2)配置 JAVA_HOME 變量

    使用如下命令來編輯 /usr/local/hadoop/etc/hadoop/hadoop-env.sh :

     sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

    修改JAVA_HOME變量如下圖:

    

    配置 core-site.xml

    在 /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啓動時的配置信息。

    編輯器中打開該文件,並進行如下修改:

    

    配置 yarn-site.xml

    /usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啓動時的配置信息。

    打開方式同上,然後添加以下內容:

    

    創建和配置 mapred-site.xml

    默認情況下,/usr/local/hadoop/etc/hadoop/文件夾下有mapred.xml.template文件,我們要複製該文件,並命名爲mapred.xml,該文件用於指定MapReduce使用的框架。

    複製並重命名:cp mapred-site.xml.template mapred-site.xml

    編輯器打開此新建文件,並添加以下內容:

    

    

    配置 hdfs-site.xml

    /usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置集羣中每臺主機都可用,指定主機上作爲namenode和datanode的目錄。

    首先在 /usr/local/hadoop 目錄下文件夾 hdfs,然後在 hdfs 目錄下創建 name 和 data 兩個文件夾

    你也可以在別的路徑下創建上圖的文件夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一致。

    然後用編輯器打開 hdfs-site.xml ,增加以下內容:

    

    通過上面的步驟,配置基本就完成了,然後需要格式化 hdfs:hdfs namenode -format ,只需執行一次即可。

    啓動Hadoop

    經過上文所描述配置和操作後,下面就可以啓動這個單節點的集羣

    執行啓動命令:sbin/start-dfs.sh  執行該命令時,如果有yes /no提示,輸入yes,回車即可。

    接下來,執行:sbin/start-yarn.sh  執行完這兩個命令後,Hadoop會啓動並運行。

    執行 jps命令,會看到Hadoop相關的進程,如下圖:

    

    瀏覽器打開 http://localhost:50070/,會看到hdfs管理頁面   

    瀏覽器打開http://localhost:8088,會看到hadoop進程管理頁面   

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章