Hadoop學習筆記之--Hadoop的安裝

由於沒有集羣環境，只能在一臺電腦上進行Hadoop的搭建，因此只能以僞分佈式的方式進行搭建。

準備工作

操作系統：CentOS 7
JDK版本：1.8.0_131
Hadoop版本：2.8.0

操作系統安裝

系統最好爲Linux，推薦CentOS，關於系統安裝，這裏不贅述。

JAVA環境配置

1.下載jdk

$ wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

2.解壓jdk-8u131-linux-x64.tar.gz：

$ tar -zvxf jdk-8u131-linux-x64.tar.gz

3.將解壓的文件放到/usr/local下：

$ sudo mv jdk1.8.0_131 /usr/local/ 

4.打開/etc/bashrc

$ sudo vim /etc/bashrc

5.加入如下內容

export JAVA_HOME=/usr/local/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

6.使更改生效

$ source /ect/bashrc

7.測試配置是否成功

    $ java

8.當出現如下圖片內容，則表明配置成功。

系統環境配置

1.安裝SSH服務(一般CentOS都帶有此服務，如果是，請直接跳過)

$ sudo yum install openssh-server openssh-clients 

2.配置SSH免密碼登陸

$ ssh-keygen  # 期間需連續回車多次
$ ssh-copy-id user@host # 期間需要輸入密碼

關於詳細的SSH免密碼登陸配置，詳情請戳：ssh免密碼登錄

Hadoop安裝

1.下載Hadoop包

$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

2.解壓 hadoop-2.8.0.tar.gz

$ tar -zvxf hadoop-2.8.0.tar.gz

3.將 hadoop-2.8.0 移至 /usr/local/ 路徑下

$ sudo mv hadoop-2.8.0 /usr/local/

4.修改相關配置文件
打開/usr/local/hadoop-2.8.0/etc/hadoop/mapred-site.xml

加入如下內容：

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

打開/usr/local/hadoop-2.8.0/etc/hadoop/yarn-site.xml

加入如下內容

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

5.啓動各項服務:

/usr/lcaol/hadoop-2.8.0/sbin/start-dfs.sh       # 啓動HDFS
/usr/local/hadoop-2.8.0/sbin/start-yarn.sh      # 啓動YARN
/usr/local/hadoop-2.8.0/sbin/mr-jobhistory-daemon.sh start historyserver  # 開啓歷史服務器，才能在Web中查看任務運行情況

執行jps

$ jps

出現如下:

通過瀏覽器打開如下URL：http://localhost:8088/cluster

可通過瀏覽器查看任務情況：

至此，Hadoop基本安裝成功了。