我們需要從官網下載hadoop 點擊打開鏈接 我自己下載的是最新的版本 hadoop 2.7.1。
下載完成後就開始安裝了:
使用 sudo tar xzf hadoop-2.7.1.tar.gz 命令將文件解壓縮。在 /usr/local 目錄下創建一個 hadoop 文件夾,然後將文件拷貝到這裏來。
sudo mv hadoop-2.7.1 /usr/local/hadoop
賦予用戶對該文件夾的讀寫權限:sudo chmod 774 /usr/local/hadoop。
配置
(1)配置 ~/.bashrc
配置該文件要知道Java的安裝的路徑,以便設置環境變量。可使用如下命令查看安裝路徑:
update-alternatives - -config java 這個是我的機器上的Java安裝路徑
找到路徑之後就可以開始配置文件:sudo gedit ~/.bashrc
打開編輯窗口,在文件末尾添加下列內容,然後保存退出。
(2)配置 JAVA_HOME 變量
使用如下命令來編輯 /usr/local/hadoop/etc/hadoop/hadoop-env.sh :
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改JAVA_HOME變量如下圖:
配置 core-site.xml
在 /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啓動時的配置信息。
編輯器中打開該文件,並進行如下修改:
配置 yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啓動時的配置信息。
打開方式同上,然後添加以下內容:
創建和配置 mapred-site.xml
默認情況下,/usr/local/hadoop/etc/hadoop/文件夾下有mapred.xml.template文件,我們要複製該文件,並命名爲mapred.xml,該文件用於指定MapReduce使用的框架。
複製並重命名:cp mapred-site.xml.template mapred-site.xml
編輯器打開此新建文件,並添加以下內容:
配置 hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置集羣中每臺主機都可用,指定主機上作爲namenode和datanode的目錄。
首先在 /usr/local/hadoop 目錄下文件夾 hdfs,然後在 hdfs 目錄下創建 name 和 data 兩個文件夾。
你也可以在別的路徑下創建上圖的文件夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一致。
然後用編輯器打開 hdfs-site.xml ,增加以下內容:
通過上面的步驟,配置基本就完成了,然後需要格式化 hdfs:hdfs namenode -format ,只需執行一次即可。
啓動Hadoop
經過上文所描述配置和操作後,下面就可以啓動這個單節點的集羣
執行啓動命令:sbin/start-dfs.sh 執行該命令時,如果有yes /no提示,輸入yes,回車即可。
接下來,執行:sbin/start-yarn.sh 執行完這兩個命令後,Hadoop會啓動並運行。
執行 jps命令,會看到Hadoop相關的進程,如下圖:
瀏覽器打開 http://localhost:50070/,會看到hdfs管理頁面
瀏覽器打開http://localhost:8088,會看到hadoop進程管理頁面