大數據之一：Hadoop安裝

一、安裝Hadoop

1.先解壓hadoop到相關的文件夾中

2.進入到解壓好的文件夾以後，對相關文件進行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

5.配置hdfs-site.xml

vi hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

8.vi yarn-site.xml

vi 

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新並格式化

source  /etc/profile
hdfs namenode -format

11.啓動

start-all.sh

jps
#查看進程

12.把linux導入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分佈式文件系統

​ NameNode:主節點，目錄

​ DataNode：從節點，數據

​ SecondaryNameNode：主節點的備份

2.YARN：Yet Another Resource Negotiator 資源管理調度系統

​ 調度的是內存的資源和CPU的算力

​ 通過ResourceManager（只有一個） 來調度

​ ResourceManager主要作用：

​ 1.處理客戶端請求

​ 2.監控NodeManager

​ 3.啓動或監控ApplicationMaster（）

​ 4.資源的分配或調度

​ NodeManager（多個）

​ NodeManager主要作用：

​ 1.管理單個節點上的資源

​ 2.處理來自ResourceManager的命令

​ 3.處理來自ApplicationMaster的命令

3.MapReduce：分佈式運算框架

​ 運算的