Hadoop學習之第一章節：Hadoop配置安裝

一、配置虛擬機三臺

1.網絡配置

虛擬化軟件： Vmware Workstations  10.7z

Linux系統：  Centos 6.5-x86_64

採用4檯安裝Linux環境的機器來構建一個小規模的分佈式集羣。

 

集羣機器詳細信息

1.虛擬化的網絡配置方式：橋接網絡

2.IP地址設置爲固定IP地址

3.主機名配置,需要修改一下地方

（1）配置vi  /etc/hostname

 

（2）配置vi /etc/sysconfig/network

 

（3）配置vi /etc/hosts

 

4.關閉防火牆

1) 重啓後生效 

開啓： chkconfig iptables on 

關閉： chkconfig iptables off 

2) 即時生效，重啓後失效 

開啓： service iptables start 

關閉： service iptables stop 

配置完成後效果：

    三個節點相互ping通

    主機名可以正常解析

    可以正常ping通外網

     

2. JAVA系統環境配置

Java的安裝   

Rpm  -qa| grep  java     查看系統已安裝的java

卸載已安裝的java

 rpm -e –nodeps   （包名稱）

配置環境變量 vi /etc/profile

#set java environment

export  JAVA_HOME=/usr/java/jdk1.8.0_77

export  JRE_HOME=/usr/java/jdk1.8.0_77/jre

export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export  PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

配置完成後效果爲：

 

3.節點之間的無密碼登錄

SSH設置需要在集羣上做不同的操作，如啓動，停止，分佈式守護shell操作。認證不同的Hadoop用戶，需要一種用於Hadoop用戶提供的公鑰/私鑰對，並用不同的用戶共享。

下面的命令用於生成使用SSH鍵值對。複製公鑰形成 id_rsa.pub 到authorized_keys 文件中，並提供擁有者具有authorized_keys文件的讀寫權限。

命令： ssh-keygen -t rsa 

命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在其他節點上同樣命令後，把所有節點的 id_rsa.pub 內容添加到authorized_keys，然後將authorized_keys 分發到所有節點的/.ssh/目錄下

配置完成後效果爲：

 

二、Hadoop配置安裝

本文檔的Hadoop版本爲：hadoop-2.6.4.tar.gz

1.在Namenode節點上進行以下配置

下載 Hadoop 以後，可以操作Hadoop集羣以以下三個支持模式之一：

本地/獨立模式：下載Hadoop在系統中，默認情況下之後，它會被配置在一個獨立的模式，用於運行Java程序。

模擬分佈式模式：這是在單臺機器的分佈式模擬。Hadoop守護每個進程，如 hdfs, yarn, MapReduce 等，都將作爲一個獨立的java程序運行。這種模式對開發非常有用.

完全分佈式模式：這種模式是完全分佈式的最小兩臺或多臺計算機的集羣。我們使用這種模式在未來的章節中。

（1）文件 core-site.xml 改爲下面的配置：

<property>

    <name>fs.default.name</name>

    <value>hdfs://192.168.1.220:9000</value>

</property>

<property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>192.168.1.220</value>

</property>

<property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

</property>

（2）文件 hdfs-site.xml改爲下面的配置：

<property>

    <name>dfs.name.dir</name>

    <value>/usr/hadoop/name</value>

</property>

<property>

    <name>dfs.data.dir</name>

    <value>/usr/hadoop/data</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.support.append</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.address</name>

    <value>0.0.0.0:50110</value>

</property>

（3）文件 mapred-site.xml 改爲下面的配置：

<property>

     <name>mapred.job.tracker</name>

     <value>http://192.168.1.220:9001</value>

</property>

<property>

    <name>mapried.local.dir</name>

    <value>/usr/hadoop/var</value>

</property>

（4）文件slaves改爲下面的配置：

Master-Hadoop

Slave1-Hadoop

Slave2-Hadoop

（5）文件hadoop-env.sh改爲下面的配置：

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.8.0_77

2.在/usr/hadooop/下創新配置中的文件夾

Mkdir  tmp

Mkdir  logs

Mkdir  data

3.hadoop命令操作

（1）使用命令  hdfs namenode –format  如下設置名稱節點

（2）啓動命令  /usr/Hadoop/etc/Hadoop/start-all.sh

（3）查看節點狀態  Hadoop  dfsadmin  -report

4.網頁節點顯示

http://Master-Hadoop:50070

 

http:// Master-Hadoop:8088

 

參考網址：

http://itindex.net/detail/46949-wordcount

http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.html

http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

http://192.168.1.200:50070/dfshealth.html#tab-datanode

http://www.tuicool.com/articles/veim6bU

http://my.oschina.net/u/570654/blog/112780

http://blog.csdn.net/ab198604/article/details/8271860

http://www.cnblogs.com/shishanyuan/category/709023.html

http://zhidao.baidu.com/link?url=K6w-swVrs7VtvcG8iF1UgQ4dBk3e7YCHoRwA3kjcA3D4fiE2RYdKQNN5h9NJCgg7z5HEvyu7Gyt1jLe7-UMvmGbRoISDTIN6MkcVPM2vbOa

http://blog.csdn.net/tralonzhang/article/details/7773824

http://www.cnblogs.com/shishanyuan/p/4177908.html

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html

文件列表爲：

CentOS-6.5-x86_64-bin-DVD1.iso

hadoop-2.6.4.tar.gz

jdk-8u77-linux-x64.rpm

putty_V0.63.0.0.43510830.exe