hadoop2.7.3 在 centos7 上部署安裝（單機版）

hadoop 簡介

   Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。充分利用集羣的威力進行高速運算和存儲。Hadoop實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有着超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供了存儲，而MapReduce則爲海量的數據提供了計算。

hadoop 單機安裝步驟

1、JAVA 的安裝

       hadoop 的依賴環境是java 首先我們先安裝java（具體安裝步驟在這裏就不說了，網上很多教程）

       檢測 java 是否安裝成功 使用命令

         [root@instance-7notzmbo ~]# java -version
         openjdk version "1.8.0_212"
         OpenJDK Runtime Environment (build 1.8.0_212-b04)
         OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode)

        這樣就安裝成功了 我的版本是 1.8.0_212

2、hadoop 的安裝

      1、去官網下載自己需要的版本 我這裏下載的是 2.7.3 的  下載地址https://archive.apache.org/dist/hadoop/common/

        

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
zxvf hadoop-2.7.3.tar.gz
cd /usr/local
mv /root/hadoop-2.7.3 hadoop

      2、配置java 的環境變量

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/use/local/java

       3、配置 hadoop 的環境變量

vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

      # 使環境變量生效

# 使用這個使之生效
source /etc/profile 

      4、修改  /usr/local/hadoop/etc/hadoop/core-site.xml 文件（fs.defaultFS直接用localhost就行，如果重命名了主機名，也可以用重命名的。）

 

vim /usr/local/hadoop/etc/hadoop/core-site.xml 


<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop運行時產生文件的存儲路徑 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

 

         5、修改 /usr/local/hadoop/etc/hadoop/hdfs-site.xml 文件

# vim  /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
    	<name>dfs.name.dir</name>
    	<value>/usr/hadoop/hdfs/name</value>
    	<description>namenode上存儲hdfs名字空間元數據 </description> 
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上數據塊的物理存儲位置</description>
    </property>


    <!-- 設置hdfs副本數量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 

        6、 SSH免密碼登錄

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

      7、hdfs啓動與停止(第一次啓動hdfs需要格式化，之後啓動就不需要的)

cd /usr/local/hadoop
./bin/hdfs namenode -format

#啓動命令：

./sbin/start-dfs.sh

#停止命令：

./sbin/stop-dfs.sh

瀏覽器輸入：http://127.0.0.1:50070     查看效果：

         8、接下來配置yarn文件。配置 /usr/local/hadoop/etc/hadoop/mapred-site.xml    。這裏注意一下，hadoop裏面默認是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名爲mapred-site.xml 。如果不啓動yarn，把重命名還原。
 

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

        9、配置/usr/local/hadoop/etc/hadoop/yarn-site.xml文件。

<configuration>
    <!-- reducer取數據的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

10 、 啓動yarn

# 啓動

./sbin/start-yarn.sh
#停止：

./sbin/stop-yarn.sh

瀏覽器輸入：http://127.0.01:8088      (8088是默認端口，如果端口占用，先把佔用的端口殺掉 netstat -ano)

這樣，dfs和yarn就啓動成功了。哈哈哈