Hadoop僞分佈式環境搭建
一.環境準備
虛擬機VM，Linux系統iso文件，JDK，Hadoop文件。
二.正式搭建流程
步驟一：Linux環境準備
1.linux系統安裝（虛擬機內），該處使用CentOS進行測試
2.網絡配置：
①點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 -> apply -> ok
②回到windows –> 打開網絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP：192.168.1.100 子網掩碼：255.255.255.0 -> 點擊確定
③在虛擬軟件上 –My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok
3.修改IP地址：
界面修改：點擊屏幕上方雙電腦圖標，右鍵選擇Edit，選擇IPV4Setting, method選擇手動，添加IP：192.168.1.101 子網掩碼：255.255.255.0 網關：192.168.1.1。apply即可生效
terminal配置：vim /etc/sysconfig/network-scripts/ifcfg-eth0進入配置文件。修改相關的OOTPROTO=static 以及IP地址，網關等。
4.修改主機名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=主機名 ###
4.修改主機名與IP地址的映射
vim /etc/hosts 進入配置文件，添加ip 主機名
5.關閉防火牆
可以先查看防火牆當前的狀態：service iptables status
關閉防火牆 ：service iptables stop
查看防火牆開機啓動狀態：chkconfig iptables –list
關閉防火牆開機啓動：chkconfig iptables off
6.重啓機器即可生效 reboot
步驟二：java環境裝備
1.上傳JDK，並解壓到相應文件夾
此處解壓到/home/hadoop/app目錄下
tar -zxvf jdk-xx.tar.gz -C /home/hadoop/app
2.將JAVA配置到環境變量中
vim /etc/profile 添加
export JAVA_HOME=/home/hadoop/jdk-xxx
export PATH=$PATH：$JAVA_HOME/bin
刷新配置 source /etc/profile
步驟三：hadoop環境配置
1.上傳hadoop安裝包到/home/hadoop/目錄下，並解壓
2.修改配置文件
hadoop-env.sh – expport JAVA_HOME=/home/hadoop/jdk-xxx
core-site.xml :
<property>
<name>fs.defaultFS</name>
<value>hdfs://主機名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
hdfs-site.xml:
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml:
<!-- 指定mr運行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.將hadoop添加到環境變量中
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/hadoop/hadoop-2.4.1
export PATH=、$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4格式化namenode
hdfs namenode -format
5.啓動hadoop
先啓動hdfs :start-dfs.sh
再啓動yarn:start-yarn.sh
6.使用JPS命令查看是否啓動成功
附加：使用ssh免密碼登錄
生成ssh免登陸密鑰
#進入到我的home目錄
cd ~/.ssh
ssh-keygen -t rsa （四個回車）
執行完這個命令後，會生成兩個文件id_rsa（私鑰）、 id_rsa.pub（公鑰）
將公鑰拷貝到要免登陸的機器上
ssh-copy-id localhost