4.1.6 HADOOP安裝部署
ü 上傳HADOOP安裝包
ü 規劃安裝目錄 /home/hadoop/apps/hadoop-2.6.1
ü 解壓安裝包
ü 修改配置文件 $HADOOP_HOME/etc/hadoop/
最簡化配置如下：
vi hadoop-env.sh
|
# The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51 |
vi core-site.xml
|
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hdp-node-01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value> </property> </configuration> |
vi hdfs-site.xml
|
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/data/data</value> </property>
<property> <name>dfs.replication</name> <value>3</value> </property>
<property> <name>dfs.secondary.http.address</name> <value>hdp-node-01:50090</value> </property> </configuration> |
vi mapred-site.xml
|
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
vi yarn-site.xml
|
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop01</value> </property>
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> |
vi salves
|
hdp-node-01 hdp-node-02 hdp-node-03 |
4.1.7 啓動集羣
初始化HDFS
|
bin/hadoop namenode -format |
啓動HDFS
|
sbin/start-dfs.sh |
啓動YARN
|
sbin/start-yarn.sh |
4.1.8 測試
1、上傳文件到HDFS
從本地上傳一個文本文件到hdfs的/wordcount/input目錄下
|
[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input [HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt /wordcount/input |
2、運行一個mapreduce程序
在HADOOP安裝目錄下，運行一個示例mr程序
|
cd $HADOOP_HOME/share/hadoop/mapreduce/ hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input /wordcount/output |
5 集羣使用初步
5.1 HDFS使用
1、查看集羣狀態
命令： hdfs dfsadmin –report
可以看出，集羣共有3個datanode可用
也可打開web控制檯查看HDFS集羣信息，在瀏覽器打開http://hdp-node-01:50070/
2、上傳文件到HDFS
2.1查看HDFS中的目錄信息
命令： hadoop fs –ls /
2.2上傳文件
命令： hadoop fs -put ./ scala-2.10.6.tgz to /
2從HDFS下載文件
命令： hadoop fs -get /arn-site.xml
