hadoop安裝實際也是很簡單的,關鍵是有些坑不要踩了就好了,hadoop實際就是一個java的程序,跑起來很簡單的,前期配置和準備工作做好就能一步安裝成功
準備工作1
安裝linux虛擬機,注意安裝的時候不要忘記網絡設置,不然不能通過局域網連接到虛擬機
準備工作2
linux要先建立一個跑hadoop的用戶並賦給權限
[root@ ~]# useradd -m hadoop -s /bin/bash
[root@ ~]# passwd hadoop
更改用戶 hadoop 的密碼 。
新的 密碼：
重新輸入新的 密碼：
passwd：所有的身份驗證令牌已經成功更新。
給hadoop用戶賦權限
修改 /etc/sudoers 文件，找到下面一行，把前面的註釋（#）去掉
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
然後修改用戶，使其屬於root組（wheel），命令如下：
#usermod -g root hadoop
修改完畢，現在可以用hadoop帳號登錄，然後用命令 sudo ，即可獲得root權限進行操作。
準備工作3
[root@ ~]# su hadoop
[hadoop@ root]$
[hadoop@ root]$ ssh-keygen -t rsa -P ''
#密鑰默認存放在/home/hadoop/.ssh/目錄下
[hadoop@ root]$ ~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@ root]$ chmod 0600 !$
chmod 0600 ~/.ssh/authorized_keys
試試
[hadoop@ root]$ ssh localhost
Last login: Sat Mar 25 21:04:52 2017
[hadoop@ ~]$
已經可以免密碼登陸了
準備工作4：
安裝jdk
[hadoop@ ~]$ cat .bash_profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
準備工作完畢
我下載的是2.7.3
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
解壓
tar -zxvf hadoop-2.7.3.tar.gz
Hadoop配置
首先進入/home/hadoop/hadoop-2.7.3/etc
core-site.xml：包括HDFS、MapReduce的I/O以及namenode節點的url（協議、主機名、端口）等核心配置，datanode在namenode上註冊後，通過此url跟client交互
vi hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml： HDFS守護進程配置，包括namenode，secondary namenode，datanode
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml：MapReduce守護進程配置，包括jobtracker和tasktrackers
vi mapred-site.xml(可以從模板複製)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
全局資源管理配置 (暫時不是很懂)
http://www.cnblogs.com/gw811/p/4077318.html
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_suffle</value>
</property>
</configuration>
配置與hadoop運行環境相關的變量
hadoop@hive:~$ vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
完畢這些還有一個步驟很重要：
nameNode 格式化並啓動，如果修改了hostname，/etc/hosts文件也需要添加本地解析，否則初始化會報錯namenode unknown
/hadoop-2.7.3/bin/hdfs namenode -format
準備完畢啓動命令是：
進入/hadoop-2.7.3/sbin/
./start-all.sh
可以進入日誌目錄看看日誌
/home/hadoop/hadoop-2.7.3/logs
[root@ sbin]# jps
14505 SecondaryNameNode
14305 NameNode
12108 -- process information unavailable
14644 ResourceManager
14390 DataNode
14736 NodeManager
14769 Jps
[root@ sbin]#
hadoop僞集羣安裝安裝完畢