Spark歷史日誌服務器配置

Spark歷史日誌服務器配置

配置存放歷史日誌的路徑

• 在客戶端中[root@node04 spark-2.3.1]# cd conf/

• [root@node04 conf]# vim spark-defaults.conf，進行配置，注意hdfs的端口，如果存放日誌的端口配置錯誤，那麼在使用spark-shell提交任務時，會有連接異常java.net.ConnectException

  spark.eventLog.enabled           true
  spark.eventLog.dir               hdfs://node01:8020/spark/log
  

• 可通過[root@node01 ~]# netstat -ntlp查看端口信息，找到接收Client連接的RPC端口，該端口用於獲取文件系統metadata信息。

• 在hdfs中創建文件夾[root@node01 ~]# hdfs dfs -mkdir -p /spark/data

• 在客戶端中提交任務對前面的操作進行驗證./spark-shell --master spark://node01:7077 --name xyz

• 在webui中進行查看

• 在HDFS中驗證是否有日誌存儲

配置日誌恢復參數

• 爲了恢復存儲在hdfs中的日誌，還需配置一些屬性[root@node04 spark-2.3.1]# vim ./conf/spark-defaults.conf

  spark.eventLog.enabled           true
  spark.eventLog.dir               hdfs://node01:8020/spark/log
  spark.history.fs.logDirectory    hdfs://node01:8020/spark/log
  

• 啓動歷史服務器[root@node04 sbin]# ./start-history-server.sh

• 通過http://node04:18080/在webui中查看歷史服務器

通過配置實現將日誌壓縮存儲

• 配置是否將歷史日誌進行壓縮[root@node04 conf]# vim spark-defaults.conf

  spark.eventLog.enabled           true
  spark.eventLog.dir               hdfs://node01:8020/spark/log
  spark.history.fs.logDirectory    hdfs://node01:8020/spark/log
  spark.eventLog.compress          true
  

• 在hdfs的webui中進行查看