【Hadoop學習】_03Hadoop運行模式

一、本地運行模式

​ 參考：http://dblab.xmu.edu.cn/blog/install-hadoop/

二、僞分佈運行模式

​ 參考：http://dblab.xmu.edu.cn/blog/install-hadoop/

三、完全分佈式運行模式

1. 準備3臺客戶機（關閉防火牆、設置靜態IP、設置主機名稱）

2. 安裝JDK並配置環境變量

3. 安裝Hadoop並配置環境變量

4. 配置集羣文件

   • 核心配置文件core-site.xml

   <!-- 指定HDFS中NameNode的地址 -->
   <property>
   		<name>fs.defaultFS</name>
         <value>hdfs://hadoop102:9000</value>
   </property>
   
   <!-- 指定Hadoop運行時產生文件的存儲目錄 -->
   <property>
   		<name>hadoop.tmp.dir</name>
   		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
   </property>
   
   

   • 配置hdfs-site.xml，寫入JAVA_HOME路徑
   • 配置hdfs-site.xml

   <property>
   		<name>dfs.replication</name>
   		<value>3</value>
   </property>
   
   <!-- 指定Hadoop輔助名稱節點主機配置 -->
   <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>hadoop104:50090</value>
   </property>
   

   • 配置yarn-env.sh，寫入JAVA_HOME路徑
   • 配置yarn-site.xml

   <!-- Reducer獲取數據的方式 -->
   <property>
   		<name>yarn.nodemanager.aux-services</name>
   		<value>mapreduce_shuffle</value>
   </property>
   
   <!-- 指定YARN的ResourceManager的地址 -->
   <property>
   		<name>yarn.resourcemanager.hostname</name>
   		<value>hadoop103</value>
   </property>
   

   • 配置mapred-env.sh，寫入JAVA_HOME路徑
   • 配置mapred-sit.xml

   <!-- 指定MR運行在Yarn上 -->
   <property>
   		<name>mapreduce.framework.name</name>
   		<value>yarn</value>
   </property>
   
   

5. 設置單點啓動

   • 集羣第一次啓動需要格式化NameNode

   hadoop namenode -format
   

6. 配置ssh

7. 羣起並測試集羣