1 环境配置
1.1 JDK配置
在这里使用的是Oracle的JDK1.8。
1. 下载安装JDK
2. 配置环境变量
以上两个步骤不再展开赘述。
3. 验证JDK是否安装成功
分别使用
echo $JAVA_HOME
和
java -version
命令查看JDK的版本信息,若二者的信息一致,则证明JDK配置成功。
4. 手动设置系统默认JDK
通常系统默认的jdk为openjdk,在这里需要手动修改系统默认的JDK为我们上文安装的JDK。
在终端依次输入以下命令:
sudo update-alternatives –install /usr/bin/java java JAVA_HOME/bin/java 300
sudo update-alternatives –install /usr/bin/javac javac JAVA_HOME/bin/javac 300
sudo update-alternatives –config java
1.2 SSH无密码登录配置
因为在后面的使用过程中会多次用到SSH密码,为了方便使用,设置SSH的无密码登录。
1.安装SSH
Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server 。
使用命令
sudo apt-get install openssh-server
2.测试是否安装成功
ssh localhost
输入密码后成功登录,则安装成功。
如下图:
3.设置无密码登录
A.生成密钥对
ssh-keygen -t rsa -P ”-f ~/.ssh/id_rsa
B.生成验证密钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
C.修改权限
chmod 0600 ~/.ssh/authorized_keys
4.测试是否设置成功
使用命令
ssh localhost
若能无密码登录,即证明设置成功。
2 下载、安装Hadoop
2.1 下载Hadoop
这里下载的是hadoop-2.6.1.tar.gz版本。
2.2 解压安装
前往安装包所在的目录,解压、安装。
(在这里我安装到/usr/local目录下)
sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local
2.3 修改权限
1.修改目录名
sudo mv hadoop-2.6.1 hadoop
2.修改文件权限
sudo chown -R root ./hadoop
2.4 检查Hadoop是否可用
在hadoop所在安装目录下
./bin/hadoop version
3 Hadoop伪分布式配置
3.1 JDK声明
在hadoop/etc/hadoop/hadoop-env.sh配置文件中添加JAVA_HOME
在最后一行添加JAVA_HOME。
不然会报错如下:
Error: JAVA_HOME is not set and could not be found.
3.2 修改配置文件
1.修改hadoop/etc/hadoop/core-site.xml配置文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2.修改hadoop/etc/hadoop/hdfs-site.xml配置文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
3.3 格式化文件系统
先格式化文件系统HDFS。
在Hadoop的安装目录下。
sudo ./bin/hdfs namenode -format
若看到 “successfully formatted” 和 “Exitting with status 0” 的提示则格式化成功,若为 “Exitting with status 1” 则是出错。
如下图:
3.4 启动NameNode守护进程和DataNode守护进程
在Hadoop的安装目录下。
sudo ./sbin/start-dfs.sh
依次启动namenode和datanode,如下图:
3.5 查看Hadoop是否启动成功
在浏览器中输入http://localhost:50070,若能查看namenode和datanode信息,则启动成功,如下图:
4 相关报错问题及解决方法
本次配置中遇到好多问题,具体问题详见下一篇博文。