1 環境配置
1.1 JDK配置
在這裏使用的是Oracle的JDK1.8。
1. 下載安裝JDK
2. 配置環境變量
以上兩個步驟不再展開贅述。
3. 驗證JDK是否安裝成功
分別使用
echo $JAVA_HOME
和
java -version
命令查看JDK的版本信息,若二者的信息一致,則證明JDK配置成功。
4. 手動設置系統默認JDK
通常系統默認的jdk爲openjdk,在這裏需要手動修改系統默認的JDK爲我們上文安裝的JDK。
在終端依次輸入以下命令:
sudo update-alternatives –install /usr/bin/java java JAVA_HOME/bin/java 300
sudo update-alternatives –install /usr/bin/javac javac JAVA_HOME/bin/javac 300
sudo update-alternatives –config java
1.2 SSH無密碼登錄配置
因爲在後面的使用過程中會多次用到SSH密碼,爲了方便使用,設置SSH的無密碼登錄。
1.安裝SSH
Ubuntu 默認已安裝了 SSH client,此外還需要安裝 SSH server 。
使用命令
sudo apt-get install openssh-server
2.測試是否安裝成功
ssh localhost
輸入密碼後成功登錄,則安裝成功。
如下圖:
3.設置無密碼登錄
A.生成密鑰對
ssh-keygen -t rsa -P ”-f ~/.ssh/id_rsa
B.生成驗證密鑰
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
C.修改權限
chmod 0600 ~/.ssh/authorized_keys
4.測試是否設置成功
使用命令
ssh localhost
若能無密碼登錄,即證明設置成功。
2 下載、安裝Hadoop
2.1 下載Hadoop
這裏下載的是hadoop-2.6.1.tar.gz版本。
2.2 解壓安裝
前往安裝包所在的目錄,解壓、安裝。
(在這裏我安裝到/usr/local目錄下)
sudo tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local
2.3 修改權限
1.修改目錄名
sudo mv hadoop-2.6.1 hadoop
2.修改文件權限
sudo chown -R root ./hadoop
2.4 檢查Hadoop是否可用
在hadoop所在安裝目錄下
./bin/hadoop version
3 Hadoop僞分佈式配置
3.1 JDK聲明
在hadoop/etc/hadoop/hadoop-env.sh配置文件中添加JAVA_HOME
在最後一行添加JAVA_HOME。
不然會報錯如下:
Error: JAVA_HOME is not set and could not be found.
3.2 修改配置文件
1.修改hadoop/etc/hadoop/core-site.xml配置文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2.修改hadoop/etc/hadoop/hdfs-site.xml配置文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
3.3 格式化文件系統
先格式化文件系統HDFS。
在Hadoop的安裝目錄下。
sudo ./bin/hdfs namenode -format
若看到 “successfully formatted” 和 “Exitting with status 0” 的提示則格式化成功,若爲 “Exitting with status 1” 則是出錯。
如下圖:
3.4 啓動NameNode守護進程和DataNode守護進程
在Hadoop的安裝目錄下。
sudo ./sbin/start-dfs.sh
依次啓動namenode和datanode,如下圖:
3.5 查看Hadoop是否啓動成功
在瀏覽器中輸入http://localhost:50070,若能查看namenode和datanode信息,則啓動成功,如下圖:
4 相關報錯問題及解決方法
本次配置中遇到好多問題,具體問題詳見下一篇博文。