安裝配置hadoop

第一次安裝,走了不少彎路

  1. 環境 centos7,jdk1.8,hadoop2.6.4

(1)      先安裝jdk,配置環境

1)JAVA_HOME/usr/local/java/jdk1.8.0_101
2)vim /etc/profile
文件追加以下內容

1.  JAVA_HOME=/usr/local/jdk1.8.0_101

2.  CLASS_PATH=$JAVA_HOME/lib  

3.  PATH=$JAVA_HOME/bin:$PATH  

4.  export PATH JAVA_HOME CLASS_PATH  

然後esc退出編輯,:wq 退出保存

(2)      安裝hadoop

l  參考http://blog.csdn.net/l1028386804/article/details/51536051

http://www.cnblogs.com/caca/p/centos_hadoop_install.html

l  下載 hadoop-xxx.tar.gz,不要下載成源碼(src 

解壓到usr/Hadoop/Hadoop.xxx

修改配置

vim /etc/profile

exportHADOOP_HOME=/usr/Hadoop/Hadoop.xxx

exportPATH=$PATH:$HADOOP_HOME/bin,並保存退出

#source /etc/profile  使配置生效

=============================

vim./hadoop-env.sh

exportJAVA_HOME=/usr/java/jdk1.8.0_101/

並保存退出

接着要修改HADOOP_HOME 目錄下的/etc/hadoop目錄下的幾個的文件

core-site.xml 【ip地址改成localhost也可】

#vim core-site.xml,直接複製替換

<configuration>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/hadoop/tmp</value>

       <description>.</description>

   </property>

   <property>

       <name>fs.default.name</name>

       <value>hdfs://localhost:9000</value>

   </property>

</configuration>

 

 

hdfs-site.xml

replication 是數據副本數量,默認爲3salve少於3臺就會報錯

<configuration>

   <property>

       <name>dfs.replication</name>

       <value>1</value>

   </property>

<configuration>

 

mapred-site.xml,不存在,複製mapred-site.xml.template,修改成該文件

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。

<configuration>

   <property>

       <name>mapred.job.tracker</name>

       <value>http://192.168.1.249:9001</value>

   </property>

</configuration>

啓動 Hadoop


格式化HDFS文件系統

Hdfs namenode-format


啓動

在啓動前關閉集羣中所有機器的防火牆,不然會出現datanode開後又自動關閉

service iptablesstop

 

啓動:./start-all.sh在sbin下執行#./start-all.sh

 

啓動驗證 
1
)執行jps命令,有如下進程,說明Hadoop正常啓動


# jps

54679 NameNode
54774 DataNode
15741 Jps
9664 Master
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode

 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章