常用配置項
broker配置
| 配置項 | 作用 |
|---|---|
| broker.id | broker的唯一標識 |
| auto.create.topics.auto | 設置成true，就是遇到沒有的topic自動創建topic。 |
| log.dirs | log的目錄數，目錄裏面放partition，當生成新的partition時，會挑目錄裏partition數最少的目錄放。 |
topic配置
| 配置項 | 作用 |
|---|---|
| num.partitions | 新建一個topic，會有幾個partition。 |
| log.retention.ms | 對應的還有minutes，hours的單位。日誌保留時間，因爲刪除是文件維度而不是消息維度，看的是日誌文件的mtime。 |
| log.retention.bytes | partion最大的容量，超過就清理老的。注意這個是partion維度，就是說如果你的topic有8個partition，配置1G，那麼平均分配下，topic理論最大值8G。 |
| log.segment.bytes | 一個segment的大小。超過了就滾動。 |
| log.segment.ms | 一個segment的打開時間，超過了就滾動。 |
| message.max.bytes | message最大多大 |
關於日誌清理，默認當前正在寫的日誌，是怎麼也不會清理掉的。
還有0.10之前的版本，時間看的是日誌文件的mtime，但這個指是不準確的，有可能文件被touch一下，mtime就變了。因此在0.10版本開始，改爲使用該文件最新一條消息的時間來判斷。
按大小清理這裏也要注意，Kafka在定時任務中嘗試比較當前日誌量總大小是否超過閾值至少一個日誌段的大小。如果超過但是沒超過一個日誌段，那麼就不會刪除。
作者：123archu
鏈接：https://www.jianshu.com/p/d3e963ff8b70
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯繫作者獲得授權並註明出處。