hadoop僞分佈式安裝（ubuntu16.04）

hadoop僞分佈式安裝（ubuntu16.04）

hadoop僞分佈式簡單就地說hadoop程序運行在一臺計算機上，除此外和完全分佈式一樣。

安裝步驟

網絡配置參考https://blog.csdn.net/weiyang_tang/article/details/103795664

創建用戶hadoop

創建用戶：

sudo useradd -m hadoop -s /bin/bash

設置密碼，可簡單設置爲 hadoop，按提示輸入兩次密碼：

sudo passwd hadoop

hadoop 用戶增加管理員權限，方便部署：

sudo adduser hadoop sudo

註銷當前用戶（在右上角），在登陸界面使用hadoop用戶進行登陸

安裝JDK，配置環境變量

更新軟件列表

sudo apt-get update

安裝openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

查看Java版本，如下：

java -version

查看openjdk安裝路徑

update-alternatives --config java 

安裝路徑爲/usr/lib/jvm/java-8-openjdk-amd64/
配置JAVA_HOME，在~/.bashrc文件

sudo vim ~/.bashrc

在~/.bashrc 寫入

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

重新更新配置文件

source ~/.bashrc

測試一下

echo $JAVA_HOME

輸出的路徑和jdk路徑是否一致

安裝hadoop，配置環境變量
hadoop下載路徑Index of /apache/hadoop/common或者Index of /apache/hadoop/common

sudo mkdir /opt/module/
sudo wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
cd /opt/module/
tar -zvxf hadoop-2.9.2.tar.gz

配置hadoop的環境變量到~/.bashrc

export HADOOP_PATH=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_PATH/bin:$HADOOP_PATH/sbin

更新配置文件

source ~/.bashrc

測試環境變量是否正確

hadoop version

如果出現下面結果，環境變量配置成功

Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /opt/module/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

修改hadoop的配置文件

跳轉到/opt/module/hadoop-2.9.2/etc/hadoop

cd /opt/module/hadoop-2.9.2/etc/hadoop

hadoop-env.sh 配置JDK的安裝路徑：

 echo $JAVA_HOME #JDK位置
 sudo vim hadoop-env.sh

在文件首部添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #根據上面jdk的位置

配置core-site.xml，在<configuration></configuration>之間填入，hostname修改成自己的虛擬主機的

<!-- 指定HDFS中NameNode的地址 hadoop101根據你自己的hostname修改 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.9.2/data/tmp</value>
</property>

配置：hdfs-site.xml，在<configuration></configuration>之間填入

<!-- 指定HDFS副本的數量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

啓動集羣

格式化NameNode（第一次啓動時格式化，以後就不要總格式化）

hdfs namenode -format

啓動NameNode

hadoop-daemon.sh start namenode

啓動DataNode

hadoop-daemon.sh start datanode

（3）查看集羣
（a）查看是否啓動成功

jps

如果DataNode和NameNode都有則配置成功
注意：jps是JDK中的命令，不是Linux命令。不安裝JDK不能使用jps
（b）web端查看HDFS文件系統
http://localhost:50070/dfshealth.html#tab-overview