Ubuntu14.04配置Hadoop的本地模式和僞分佈模式教程

在Ubuntu14.04下配置Hadoop的兩種模式：本地模式、僞分佈模式

 

真分佈模式我寫在了另外一篇教程上了，需要的可以訪問：Ubuntu14.04配置Hadoop的真分佈模式教程

 

設備：

操作系統：Ubuntu 14.04.5  32位版本

軟件：VMware 12

 

準備階段

①下載JDK 1.8.0_201、Hadoop-3.0.2（自行下載）

②解壓JDK 1.8.0_201、Hadoop-3.0.2（改成自己的路徑）

使用sudo tar -xzvf Downloads/jdk-8u201-linux-i586.tar.gz -C /usr/local命令

使用sudo tar -xzvf Downloads/hadoop-3.0.2.tar.gz -C /usr/local命令

③配置JDK環境

這裏將環境變量配置在.bashrc，輸入vim ~/.bashrc命令（下載vim命令：sudo apt-get install vim；若下載不了更新下載源，命令：sudo apt-get update），按“i”健進入輸入模式，在文件後面配置如下內容：

配置完後按“ESC”+“:wq”鍵，保存文件並退回命令行；並且輸入source ~/.bashrc命令，讓環境變量生效。

④測試JDK配置是否成功

輸出java -version命令，出現Java版本信息，配置成功。

 

一、本地模式配置Hadoop

①將Hadoop環境變量也配置在.bashrc，輸入vim ~/.bashrc命令，按“i”健進入輸入模式，在文件後面配置如下內容：

配置完後按“ESC”+“:wq”鍵，保存文件並退回命令行；並且輸入source ~/.bashrc命令，讓環境變量生效。

④測試Hadoop本地模式配置是否成功

輸出hadoop version命令，出現Hadoop版本信息，本地模式配置完成。

 

二、僞分佈式模式配置hadoop

①安裝ssh

輸入“sudo apt-get install openssh-server”命令，安裝ssh；

安裝完後輸入“ssh localhost”命令登錄本機；第一次登錄會有提示，輸入yes，接着輸入當前用戶的密碼即可；然後按“exit”退出。

 

②配置ssh免密碼登錄

因爲Hadoop啓動時名稱節點需要啓動集羣中所有機器的Hadoop守護進程，這個過程需要SSH登錄來實現，但是Hadoop並沒有提供SSH密碼輸入的形式，因此需要將所有節點配置爲名稱節點可以無密碼登錄

輸入“cd ~/.ssh”命令進入該目錄；

輸入“rm ./id_rsa*”命令，刪除之前生成的公匙（如果有）

然後輸入“ssh-keygen -t rsa”命令，過程會有一些提示，按回車即可；

然後輸入“cat ./id_rsa.pub>>./authorized_keys”命令，加入授權；這時就配置完了

再使用“ssh localhost”登錄就不需要密碼了

③修改hadoop-3.0.2/etc/hadoop/core-site.xml、hdfs-site.xml和hadoop-env.sh配置文件

具體修改內容如下：

Hadoop-env.sh文件：（在文件開頭添加JAVA_HOME路徑）

Core-site.xml文件（添加內容）:

<configuration>

<property>

        <name>hadoop.tmp.dir</name>

        <value>file:/home/Documents/hadoop-3.0.2/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

hdfs-site.xml文件（添加內容）：

<configuration>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/Documents/hadoop-3.0.2/tmp/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/Documents/hadoop-3.0.2/tmp/dfs/data</value>

</property>

<property>

   <name>dfs.http.address</name>

   <value>0.0.0.0:50070</value>

</property>

</configuration>

②賦予權限

添加hadoop-3.0.2文件夾讀和寫的權限，使用“sudo chmod -R a+w hadoop-3.0.2”命令來完成。

③格式化namenode節點，使用“hadoop namenode -format”命令(只截取部分截圖)

④使用“sbin/start-dfs.sh”命令啓動namenode和datanode

⑤使用“jps”命令查看是否啓動成功，出現如下截圖說明成功啓動

⑥在瀏覽器訪問“http://localhost:50070/”Hadoop首頁

到此，僞分佈模式配置完成。