Linux(CentOS7)下Hadoop的安裝與使用

一、安裝文件準備

這裏我使用的是hadoop-2.6.0.tar.gz這個版本，可以直接到下面網盤裏下載使用

鏈接: https://pan.baidu.com/s/1tj26EGUBnpTZnbA0qkb77Q 提取碼: sepa

二、修改主機名爲master

2.1 這裏爲了後面使用方便，先將主機名改爲master：

vim /etc/hostname

2.2 修改hosts文件，下面加一行master的配置

vim /etc/hosts

2.3 使配置生效

hostname master

su root

2.4 設置免密性

ssh-keygen -s -t rsa

然後一路回車，再執行下面這個命令：

ssh-copy-id master

根據提示，輸入“yes”，再輸入用戶的密碼。最後執行下面這個命令：

ssh master

三、安裝hadoop

3.1 解壓Hadoop

首先使用xftp等類似工具把hadoop-2.6.0.tar.gz文件傳到主機，解壓文件

tar -axvf hadoop-2.6.0.tar.gz 

然後移動到/usr/local下：

mv hadoop-2.6.0 /usr/local/hadoop

3.2 配置hadoop-env.sh文件

首先進入進入/usr/local/hadoop/etc/hadoop/ 路徑下：

cd /usr/local/hadoop/etc/hadoop/ 

這裏主要把jdk路徑配置上，下圖25行（jdk請自行安裝）

3.3 配置core-site.xml文件

 <property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/tmp</value>
 </property>

3.4 配置hdfs-site.xml文件

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

3.5 配置mapred-site.xml文件

首先複製mapred-site.xml.template文件得到mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml

然後配置mapred-site.xml：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
</property>

3.6 配置yarn-site.xml文件

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
<property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>

3.7 配置環境變量

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使環境變量生效

source /etc/profile

3.8 格式化一下hadoop

hadoop namenode -format

出現上圖，表示執行成功，至此hadoop已安裝完成。

四、Hadoop的啓動與關閉

4.1 啓動Hadoop

start-dfs.sh 
start-yarn.sh

 或者直接

 ./start-all.sh 

出現上圖表示啓動成功，可以瀏覽器驗證下：

http://192.168.77.129:50070

http://192.168.77.129:8088

4.2 關閉Hadoop

./stop-all.sh

 

 

 

 

注：JDK安裝可以參考我的另一篇博客：https://blog.csdn.net/zhuimeng_by/article/details/83653940