我的情況跟這篇blog情況幾乎相似。
https://www.jianshu.com/p/d2e711862e24
後來查證結果是，由於我們的Cloudera Manager集羣使用了Kudu，並對Kudu進行了監控和採集。CDH manager對於Kudu的監控項特別多，每一個Kudu表對應大概20個指標。這些時序數據，會由SMON（service monitor）接收並寫入本地的LevelDB，並定時對其進行rollup操作(即把秒的變成分鐘，和小時的數據)。由於這個明細數據量過大，導致SMON一直都處於高負荷狀態。
解決思路有2個：
1.是幹掉rollup操作
2.是停掉Kudu的數據採集(數據量極大)
個人傾向於第二個，幹掉Kudu的數據採集。kudu的數據採集有大量的採集內容並不是我們想要的，而且也有很多小的表，臨時表是不需要監控的。Kudu的數據採集是基於http的json結構，在每個Tablet-Server上面可以進行採集，所以最好的思路是自己採集想要的metrics進行鍼對性監控。
關於配置rollup的內容：
https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_storage.html