hadoop 3.x 案例7: hadoop大數據平臺日誌 一. Hadoop日誌 二. Hive日誌 三. Spark日誌 四. Flink日誌

一. Hadoop日誌

cd $HADOOP_HOME/logs

日誌分類:

1. namenode日誌

2. datanode日誌

3. secondarynamenode日誌

4. yarn日誌
   4.1 resourcemanger日誌
   4.2 nodemanager日誌

5. historyServer日誌

1.1 namenode日誌

名稱節點的日誌，如果名稱節點有問題，需要進行排查。一個hadoop大數據集羣只有一個namenode，具體的信息可以查看配置文件

$HADOOP_HOME/etc/hadoop/core-site.xml  

1.2 datanode日誌

一個hadoop大數據平臺一般有多個datanode，每個datanode節點都有自己的日誌。

$HADOOP_HOME/etc/hadoop/works

1.3 secondarynamenode日誌

我們知道對HDFS進行讀寫，都需要通過namenode找到對應的datanode，如果集羣節點衆多且數據量非常大，那麼namenode的壓力是非常大的，於是誕生了secondarynamenode來分擔namenode的壓力。

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

1.4 yarn日誌

yarn圖解:

1.4.1 resourcemanger日誌

resourcemanger負責全局的資源管理和任務調度，把整個集羣當作計算資源池，只關注分配，不管應用，且不負責容錯。

$HADOOP_HOME/etc/hadoop/yarn-site.xml 

1.4.2 nodemanager日誌

Node節點下的Container管理

1. 啓動時向ResourceManager註冊並定時發送心跳消息，等待ResourceManger的指令

2. 監控Container的運行，維護Container的生命週期，監控Container的資源使用情況

3. 啓動或停止container,管理任務運行時的依賴包（根據APPlicationMaster的需要，啓動Container之前將需要的程序以及依賴包，配置文件等COPY到本地）

注意:
很多時候，我們需要查詢nodemananger的日誌，從這個地方可以看到我們的任務被分配到那個node了。

1.5 historyServer日誌

當我們重啓yarn後，resourcemanger就沒辦法查看重啓前的job運行的歷史記錄了，此時我們需要從historyServer上查看。

$HADOOP_HOME/etc/hadoop/yarn-site.xml

二. Hive日誌

Hive的日誌比較特殊，$HIVE_HOME 目錄是沒有logs目錄的，其它的組件都是有logs目錄的。

Hive的日誌在節點(那個節點登陸hive)的/tmp/$username 目錄下

例如:

cd /tmp/root
ls
more hive.log

三. Spark日誌

Spark的日誌就區分 Master和worker日誌

cd $SPARK_HOME/logs

四. Flink日誌

Flink的日誌 主要是standalone(獨立部署)日誌和 taskexecutor日誌。
如果使用Flink SQL客戶端還會有Flink SQL相關的日誌。

cd $FLINK_HOME/log