Linux積累-安裝與配置Hadoop

 安裝Hadoop之前先要安裝JDK1.6以上版本和SSH。

1.安裝JDK(以1.7爲例)

下載jdk1.7(http://www.oracle.com/technetwork/java/javase/downloads/index.html

解壓文件

  1. tar -xvzf jdk-7u3-linux-i586.tar.gz 

複製文件到/usr/lib/jvm/ 文件夾下 jvm文件夾需要自己創建 更名複製的文件夾爲jdk1.7

設置環境變量

  1. sudo vi /etc/environment 
  2.  
  3. JAVAHOME=/usr/lib/jvm/jdk1.7 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:%JAVAHOME%/bin" 
  4. CLASSPATH=.:%JAVAHOME%/lib 

然後設置默認的jdk

  1. sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7/bin/java 300 
  2. sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.76/bin/javac 300 

最後同過java -version查看到安裝的jdk1.7的版本信息, 即安裝成功。


2.安裝SSH免密碼登錄

  1. //確認聯網並安裝ssh 
  2. sudo apt-get install ssh 
  3. //生產密鑰 
  4. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
  5. //把id_dsa.pub追加到授權的key裏面去 
  6. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
  7. //驗證是否安裝成功 
  8. ssh -version 
  9. ssh localhost //出現選項輸入yes即可登錄本地 則成功。 

3.安裝Hadoop

下載Hdoop-1.0.2.tar.gz(http://hadoop.apache.org/common/releases.html#Download)

解壓 方式如jdk 一般解壓到用戶的目錄下 /home/[用戶名]/。

單節點方式配置:

無需配置,Hadoop被認爲是一個單獨的Java進程,這種方式適合用來調試。

僞分佈式配置:

  1. //進入conf文件夾進行配置 
  2. //修改Hadoop-env.sh配置文件 指定JDK的安裝位置 
  3. export JAVA_HOME="你的JDK安裝地址" 
  4. //修改Hadoop核心的配置文件core-site.xml 
  5. <configuration> 
  6.      <property> 
  7.          <name>fs.default.name</name> 
  8.          <value>hdfs://localhost:9000</value>//HDFS的地址和端口 
  9.      </property> 
  10. </configuration> 
  11. //下面是HDFS的配置,在hdfs-site.xml中 
  12. <configuration> 
  13.      <property> 
  14.          <name>dfs.replication</name> 
  15.          <value>1</value>//單機僞分佈下改爲1 
  16.      </property> 
  17. </configuration> 
  18. //修改MapReduce的配置文件 
  19. <configuration> 
  20.      <property> 
  21.          <name>mapred.job.tracker</name> 
  22.          <value>localhost:9001</value> JobTracker的地址和端口
  23.      </property> 
  24. </configuration> 

在啓動Hadoop前,需格式化Hadoop的文件系統HDFS:

bin/Hadoop namenode -format

啓動Hadoop:

bin/start-all.sh

最後進行驗證:

http://localhost:50030

http://localhost:50070

參考: http://hadoop.apache.org/common/docs/stable/single_node_setup.html

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章