hadoop2.9安裝指南

1、到hadoop官網下載最新的二進制版本。 
2、把壓縮包上傳到你的linux服務器、解壓縮、配置環境變量. ps:我這裏用的是centos6.9,你也可以用別的linux,譬如ubuntu。 
解壓縮命令: tar -zxvf hadoop-2.9.0.tar.gz 
文件夾重命名:mv hadoop-2.9.0 hadoop 
配置環境變量:vim /etc/profile

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
alias cdha='cd /home/hadoop'
export HADOOP_HOME=/home/hadoop
  • 1
  • 2
  • 3

讓更改生效: 
source /etc/profile 
這裏我們設置了一個別名 cdha,可以快速轉到hadoop 的目錄。 
(注意你需要事先已經安裝好了java8哦!) 
3、 修改hadoop配置文件 
需要修改的配置文件都位於$HADOOP_HOME/etc/hadoop目錄下。 
1) vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131
  • 1

注意這裏一定要是java的絕對路徑,不可以用$JAVA_HOME代替。 
2)vim core-site.xml 
這裏寫圖片描述 
3)vim hdfs-site.xml 
這裏寫圖片描述 
4、配置文件修改說明: 
Hadoop 的運行方式是由配置文件決定的(運行 Hadoop 時會讀取配置文件),因此如果需要從僞分佈式模式切換回非分佈式模式,需要刪除 core-site.xml 中的配置項。 
此外,僞分佈式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行(官方教程如此),不過若沒有配置 hadoop.tmp.dir 參數,則默認使用的臨時目錄爲 /tmp/hadoo-hadoop,而這個目錄在重啓時有可能被系統清理掉,導致必須重新執行 format 才行。所以我們進行了設置,同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否則在接下來的步驟中可能會出錯。 
5、配置完成後,執行以下語句格式化NameNode: 
./bin/hdfs namenode –format 
成功會看到如下提示: 
這裏寫圖片描述 
6、接着執行以下命令開啓 NameNode 和 DataNode 守護進程: 
./sbin/start-dfs.sh 
若ssh提示連接,輸入yes即可 
啓動完成後,輸入命令jps來判斷是否啓動成功. 
若成功啓動則會列出如下進程: “NameNode”、”DataNode” 和 “SecondaryNameNode” 
成功啓動後,可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,還可以在線查看 HDFS 中的文件。 
若有如下頁面,恭喜安裝成功 ! 

這裏寫圖片描述


http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章