Hadoop學習筆記之Hadoop僞分佈式環境搭建

搭建爲僞分佈式Hadoop環境

1、宿主機（Windows）與客戶機（安裝在虛擬機中的Linux）網絡連接。

a) Host-only 宿主機與客戶機單獨組網；

好處：網絡隔離；

壞處：虛擬機和其他服務器之間不能通訊；

b) Bridge 橋接 宿主機與客戶機在同一個局域網中。

好處：竇在同一個局域網，可以互相訪問；

壞處：不完全。

2、Hadoop的爲分佈式安裝步驟

a) 設置靜態IP

在centos下左面上右上角圖標右鍵修改；

重啓網卡service network restart;

驗證：執行命令ifconfig

b) 修改主機名(原名稱casichadoop)  hostname查看當前名稱

修改當前會話主機名:設置名稱 hostname hadoop

修改配置文件中:hostname vi /etc/sysconfig/network 爲hadoop

c) 把hostname和ip綁定

執行命令 vi /etc/hosts增加10.10.10.10

保存退出

驗證:ping hadoop

 

d) 關閉防火牆  先查看service iptables status

  Service  iptables stop

e) 防火牆自動啓動 先查看chkconfig --list | grep iptables

關閉自動啓動防火牆 chkconfig iptables off

    驗證：chkconfig --list | grep iptables

 

f)  Ssh(secure shell)的免密碼登錄

         <1>執行命令shh-keygen -t rsa 產生祕鑰，位於~/.ssh

         <2>執行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

驗證：ssh localhost

g)      安裝JDK

 

l 打開目錄 cd /usr/local 

l 然後刪除全部文件rm -rf  * 

 

l 複製所有的文件到當前目錄下cp /root/Downloads/* .

 

l 查看當前目錄的權限 ls -l

l 賦予權限執行權限chmod u+x jdk-6u24-linux-i586.bin

 

l  執行安裝JDK ./jdk-6u24-linux-i586.bin 

l  mv jdk1.6.0_24 jdk 重命名

l 設置環境變量vi /etc/profile 

n Export JAVA_HOME=/usr/local/jdk

n Export PATH=./$JAVA_HOME/bin:$PATH

n Source /etc/profile

n 驗證:java -version

 

h)      安裝HADOOP

i. Tar -zxvf hadoop-1.1.2.tar.zip

ii. Mv hadoop-1.1.2 hadoop

iii. 設置環境變量

n Export  HADOOP_HOME=/usr/local/hadoop

n Export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

iv. 修改四個配置文件

1. 修改hadoop-env.sh

 export JAVA_HOME=/usr/local/jdk

2. 修改core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>hadoop</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3. 修改hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

 

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 

4. 修改mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>change you own hostname</description>

</property>

</configuration>

 

v. 執行命令 hadoop namenoe -format 對hdfs格式化

vi. 執行命令 start-all.sh

vii. 執行命令 jps 查看進程