Linux积累-安装与配置Hadoop

 安装Hadoop之前先要安装JDK1.6以上版本和SSH。

1.安装JDK(以1.7为例)

下载jdk1.7(http://www.oracle.com/technetwork/java/javase/downloads/index.html

解压文件

  1. tar -xvzf jdk-7u3-linux-i586.tar.gz 

复制文件到/usr/lib/jvm/ 文件夹下 jvm文件夹需要自己创建 更名复制的文件夹为jdk1.7

设置环境变量

  1. sudo vi /etc/environment 
  2.  
  3. JAVAHOME=/usr/lib/jvm/jdk1.7 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:%JAVAHOME%/bin" 
  4. CLASSPATH=.:%JAVAHOME%/lib 

然后设置默认的jdk

  1. sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7/bin/java 300 
  2. sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.76/bin/javac 300 

最后同过java -version查看到安装的jdk1.7的版本信息, 即安装成功。


2.安装SSH免密码登录

  1. //确认联网并安装ssh 
  2. sudo apt-get install ssh 
  3. //生产密钥 
  4. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
  5. //把id_dsa.pub追加到授权的key里面去 
  6. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
  7. //验证是否安装成功 
  8. ssh -version 
  9. ssh localhost //出现选项输入yes即可登录本地 则成功。 

3.安装Hadoop

下载Hdoop-1.0.2.tar.gz(http://hadoop.apache.org/common/releases.html#Download)

解压 方式如jdk 一般解压到用户的目录下 /home/[用户名]/。

单节点方式配置:

无需配置,Hadoop被认为是一个单独的Java进程,这种方式适合用来调试。

伪分布式配置:

  1. //进入conf文件夹进行配置 
  2. //修改Hadoop-env.sh配置文件 指定JDK的安装位置 
  3. export JAVA_HOME="你的JDK安装地址" 
  4. //修改Hadoop核心的配置文件core-site.xml 
  5. <configuration> 
  6.      <property> 
  7.          <name>fs.default.name</name> 
  8.          <value>hdfs://localhost:9000</value>//HDFS的地址和端口 
  9.      </property> 
  10. </configuration> 
  11. //下面是HDFS的配置,在hdfs-site.xml中 
  12. <configuration> 
  13.      <property> 
  14.          <name>dfs.replication</name> 
  15.          <value>1</value>//单机伪分布下改为1 
  16.      </property> 
  17. </configuration> 
  18. //修改MapReduce的配置文件 
  19. <configuration> 
  20.      <property> 
  21.          <name>mapred.job.tracker</name> 
  22.          <value>localhost:9001</value> JobTracker的地址和端口
  23.      </property> 
  24. </configuration> 

在启动Hadoop前,需格式化Hadoop的文件系统HDFS:

bin/Hadoop namenode -format

启动Hadoop:

bin/start-all.sh

最后进行验证:

http://localhost:50030

http://localhost:50070

参考: http://hadoop.apache.org/common/docs/stable/single_node_setup.html

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章