Azkaban執行目錄產生小文件過多導致的問題

某天早上集羣報警，磁盤、內存等報警，我一看發現如下圖

 

 

某個目錄已經使用了100%，剩餘0;

 

然後我快速定位到了Azkaban出現了問題，某個目錄下存有大量歷史文件；

 

 

該目錄就是Azkaban的安裝目錄下

/xxxxxxxxx/azkaban-executor-xxxxx/bin/executions/

 

這些其實都是歷史運行部分信息，但是隨着Azkaban使用/更新的時長變多，慢慢累積了大量的小文件。導致磁盤空間不足；

 

解決方案：

這裏我寫了一個腳本，定向清理某個目錄下的歷史無用數據，給Azkaban加速；

 

#!/bin/bash

# author: yangxin_ryan

usage="Usage: cleanHive.sh "