在ubuntu14.04環境下搭建僞分佈式hadoop-2.2.0 64位系統

1.創建新用戶

1)創建用戶名是hadoop

sudo useradd -m hadoop -s /bin/bash

2)修改密碼，輸入兩次

sudo passwd hadoop
3)添加管理員權限
方法1--
sudo adduser hadoop sudo
方法2--
sudo vi /etc/sudoers
# User privilege specification
root    ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL)  ALL

2.設置SSH

1)安裝ssh
sudo apt-get update
sudo apt-get install openssh-server
2)登錄本機
ssh localhost
3)設置無密碼登錄
exit(如果沒有退出ssh可以多打幾次exit或者打logout)
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
4)再次登陸時就不需要輸入密碼了

3.安裝jdk和配置環境

1)安裝jdk
sudo apt-get install openjdk-7-jre openjdk-7-jdk
2)安裝完成後進行檢查
java -version
3)配置JAVA_HOME環境變量配置
 vi ~/.bashrc
如果不能保存就在前面加上sudo
在第一行加入
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
查看java目錄命令：
dpkg -L openjdk-7-jdk
4)讓命令生效
source ~/.bashrc
echo $JAVA_HOME

4.hadoop僞分佈式和yarn的配置

1)解壓下載好的hadoop
tar -zxvf hadoop-2.2.0.tar.gz
2)配置hadoop
cd hadoop-2.2.0
cd etc
cd hadoop
1--配置core-site.xml
vi core-site.xml
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/home/hadoop/dfs/tmp</value>
</property>
2--配置hdfs-site.xml
vi hdfs-site.xml
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/hadoop/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/hadoop/dfs/data</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
在配置hive的時候可能會遇到驗證問題，所以在這裏直接配置驗證未false
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
3)配置JAVA_HOME
vi ./etc/hadoop/hadoop-env.sh
# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

4)配置Hadoop環境變量
 vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
在hadoop-2.2.0下
pwd
直接輸出位置複製即可
5)修改鏈接文件
cd ~
rm -rf dfs
mkdir dfs
cd dfs
mkdir logs
mkdir tmp
6)配置yarn文件
cd hadoop-2.2.0/etc/hadoop/
配置yarn-site.xml
vi yarn-site.xml
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>localhost</value>
</property>
<property>
    <name>yarn.resoucemanager.webapp.address</name>
    <value>localhost:8088</value>
</property>
配置yarn-env.sh
vi yarn-env.sh
 JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
7)namenode格式化
cd ../..
在hadoop-2.2.0目錄下
bin/hdfs namenode -format
成功:Exitting with status 0
失敗:Exitting with status 1
如果失敗可以sudo bin/hdfs namenode -format
8)啓動hadoop
sbin/start-all.sh
(分部啓動1:hdfs
sbin/start-dfs.sh
分部啓動2:yarn
sbin/start-yarn.sh)

9)關閉hadoop

將start改爲stop即可