Linux系統下Hadoop全分佈式安裝與配置

Hadoop完全分佈式配置

我的主機名IP：
192.168.1.111 linux01 主節點
192.168.1.112 linux02
192.168.1.113 linux03

1.準備hadoop，java，日誌文件，及所需程序軟件

2,連接xshell
三臺同步輸入 yum install net-tools vim （安裝工具）:一路 y
3.三臺同步 vim /etc/hosts (ip地址映射)。輸入三臺IP地址以及名稱（中間用tab鍵）

4.三臺同步 vim /etc/hostname 清空並添加相應主機名

5，三臺同步 vim /etc/sysconfig/network 添加
NETWORKING=yes
HOSTNAME=主機名

6，三臺同步 reboot 重啓，重連xshell
｛下面均在主節點操作｝
7，免密鑰操作
<1, 在“linux01”中輸入ssh-keygan -t rsa 產生公鑰與私鑰對（一路回車）

<2,依次輸入三臺信息（包括本機,第一次輸入yes，第二次輸入密碼）

ssh-copy-id -i /root/.ssh/id_rsa.pub linux01
ssh-copy-id -i /root/.ssh/id_rsa.pub linux02
ssh-copy-id -i /root/.ssh/id_rsa.pub linux03

< 3,依次在主節點輸入 ssh linux01,02,03 驗證（exit退出）

8,使用xshell快捷連接xftp將準備文件傳輸到/opt目錄下（可自選路徑）

9,依次解壓 tar xvfz

10,爲方便之後操作，建議將hadoop-2.7.7及jdk1.8.0_201改名，之後也可以刪除壓縮包。

mv hadoop-2.7.7 hadoop   
mv jdk1.8.0_201 jdk8
rm hadoop-2.7.7.tar.gz
rm jdk-8u201-linux-x64.tar.gz

11，輸入cd /opt/hadoop/etc/hadoop（找到/hadoop/etc/hadoop）
接下來的配置文件由於看的參照過多，就不一一列舉，見諒
<1,vimcore-site.xml。(hadoop核心配置)

       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://linux01:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop_tmp</value>
        </property>

"linux01"改爲自己主節點名。/opt/hadoop_tmp也可以改爲自己路徑
<2,vimhadoop-env.sh。（在運行hadoop的腳本中使用的環境變量）

在export JAVA_HOME=${JAVA_HOME}下添加路徑
< 3,vimhdfs-site.xmlhdfs。（後臺程序設置的配置：名稱節點，第二名稱節點和數據節點）

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/hadoop_tmp/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/hadoop_tmp/hdfs/data</value>
        </property>
        <property>
                 <name>dfs.namenode.secondary.http-address</name>
                 <value>linux01:50090</value>
        </property>
        <property>
                 <name>dfs.replication</name>
                 <value>2</value>
        </property>

"linux01"改成自己節點名，上述路徑也可自己設定
<4,vimmapred-site.xml.template

       <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- jobhistory properties -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>linux01:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>linux01:19888</value>
        </property>

linux01改爲自己主節點名
複製到mapred-site.xml（MapReduce 後臺程序設置的配置）

cp mapred-site.xml.template mapred-site.xml

<5,vimyarn-site.xml

      <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>linux01</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>${yarn.resourcemanager.hostname}:8090</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/opt/hadoop_tmp/yarn/local</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/opt/hadoop_tmp/logs</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://linux01:19888/jobhistory/logs/</value>
                <description>URL for job history server</description>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>512</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>2048</value>
        </property>
                <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>

"linux01"改爲自己主節點名
<6,vimyarn-env.sh

找到圖中位置並添加export JAVA_HOME=/opt/jdk8
<7,vimslaves清空內容改爲下圖

至此關於hadoop的配置完成，上述配置中的linux01切記改爲自己的主節點名，/opt/hadoop_tmp路徑可以改爲自己的路徑，確保目錄存在，不存在三臺都要創建
12,將hadoop和jdk8，傳輸到對應節點對應目錄下

scp -r /opt/hadoop linux02:/opt
scp -r /opt/jdk8 linux02:/opt
scp -r /opt/hadoop linux03:/opt
scp -r /opt/jdk8 linux03:/opt

13，三臺同步vim /etc/profile添加配置目錄，（對應自己主機）

export JRE_HOME=$JAVA_HOME/jre
export JAVA_HOME=/opt/jdk8
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:${JAVA_HOME}/bin

export HADOOP_HOME=/opt/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH:${HADOOP_HOME}/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

生效環境變量

source /etc/profile

14，三臺同步創建上述配置的所需目錄

mkdir -p /opt/hadoop_tmp

15，三臺同步

systemctl stop firewalld.service  （關閉防火牆）
systemctl disable firewalld.service  （開機禁止防火牆自啓）

16，在主節點中hdfs namenode -format (格式化namenode)

17,
start-all.sh 啓動hdfs和yarn相關內容,也可以分步
start-dfs.sh
start-yarn.sh

18, 三臺同步 jps

19,在本地文件夾找到該路徑下的hosts文件，修改IP映射文件,以便本地瀏覽器能夠打開hadoop資源監控網站
路徑下圖

添加如下內容

20，打開瀏覽器（建議谷歌）
linux01:50070

linux01:8088

linux01:19888

19888啓動不了 mr-jobhistory-daemon.sh start historyserver

Linux系統下Hadoop全分佈式安裝與配置

Hadoop完全分佈式配置

35K*14 薪，入職了！這公司只要不裁員，我能一直呆下去！

IP地址子網掩碼

Linux系統下Hadoop全分佈式安裝與配置

Hbase的分佈式安裝配置

關於Hive的（遠程）連接配置

Zookeeper的分佈式集羣安裝

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結