以下是kafka broker 詳細配置的參數、默認值、描述
參數 默認值 描述
broker.id -1 每一個boker都有一個唯一的id作爲它們的名字。當該服務器的IP地址發生改變時，broker.id沒有變化，則不會影響consumers的消息情況
port 9092 broker server服務端口
host.name "" broker的主機地址，若是設置了，那麼會綁定到這個地址上，若是沒有，會綁定到所有的接口上，並將其中之一發送到ZK
log.dirs /tmp/kafka-logs kafka數據的存放地址，多個地址的話用逗號分割,多個目錄分佈在不同磁盤上可以提高讀寫性能 /data/kafka-logs-1，/data/kafka-logs-2
message.max.bytes 1000012 表示消息體的最大大小，單位是字節
num.network.threads 3 broker處理消息的最大線程數，一般情況下數量爲cpu核數
num.io.threads 8 處理IO的線程數
log.flush.interval.messages Long.MaxValue 在數據被寫入到硬盤和消費者可用前最大累積的消息的數量
log.flush.interval.ms Long.MaxValue 在數據被寫入到硬盤前的最大時間
log.flush.scheduler.interval.ms Long.MaxValue 檢查數據是否要寫入到硬盤的時間間隔。
log.retention.hours 168 (24*7) 控制一個log保留多長個小時
log.retention.bytes -1 控制log文件最大尺寸
log.cleaner.enable false 是否log cleaning
log.cleanup.policy delete delete還是compat.
log.segment.bytes 1073741824 單一的log segment文件大小
log.roll.hours 168 開始一個新的log文件片段的最大時間
background.threads 10 後臺線程序
num.partitions 1 默認分區數
socket.send.buffer.bytes 102400 socket SO_SNDBUFF參數
socket.receive.buffer.bytes 102400 socket SO_RCVBUFF參數
zookeeper.connect 指定zookeeper連接字符串， 格式如hostname:port/chroot。chroot是一個namespace
zookeeper.connection.timeout.ms 6000 指定客戶端連接zookeeper的最大超時時間
zookeeper.session.timeout.ms 6000 連接zk的session超時時間
zookeeper.sync.time.ms 2000 zk follower落後於zk leader的最長時間
high-level consumer的配置參數
參數 默認值 描述
groupid groupid 一個字符串用來指示一組consumer所在的組
socket.timeout.ms 30000 socket超時時間
socket.buffersize 64*1024 socket receive buffer
fetch.size 300 * 1024 控制在一個請求中獲取的消息的字節數。 這個參數在0.8.x中由fetch.message.max.bytes,fetch.min.bytes取代
backoff.increment.ms 1000 這個參數避免在沒有新數據的情況下重複頻繁的拉數據。 如果拉到空數據，則多推後這個時間
queued.max.message.chunks 2 high level consumer內部緩存拉回來的消息到一個隊列中。 這個值控制這個隊列的大小
auto.commit.enable true 如果true,consumer定期地往zookeeper寫入每個分區的offset
auto.commit.interval.ms 10000 往zookeeper上寫offset的頻率
auto.offset.reset largest 如果offset出了返回，則 smallest: 自動設置reset到最小的offset. largest : 自動設置offset到最大的offset. 其它值不允許，會拋出異常.
consumer.timeout.ms -1 默認-1,consumer在沒有新消息時無限期的block。如果設置一個正值， 一個超時異常會拋出
rebalance.retries.max 4 rebalance時的最大嘗試次數
producer的配置參數
參數 默認值 描述
producer.type sync 指定消息發送是同步還是異步。異步asyc成批發送用kafka.producer.AyncProducer， 同步sync用kafka.producer.SyncProducer
metadata.broker.list boker list 使用這個參數傳入boker和分區的靜態信息，如host1:port1,host2:port2, 這個可以是全部boker的一部分
compression.codec NoCompressionCodec 消息壓縮，默認不壓縮
compressed.topics null 在設置了壓縮的情況下，可以指定特定的topic壓縮，未指定則全部壓縮
message.send.max.retries 3 消息發送最大嘗試次數
retry.backoff.ms 300 每次嘗試增加的額外的間隔時間
topic.metadata.refresh.interval.ms 600000
定期的獲取元數據的時間。當分區丟失，leader不可用時producer也會主動獲取元數據，如果爲0，則每次發送完消息就獲取元數據，
不推薦。如果爲負值，則只有在失敗的情況下獲取元數據。
queue.buffering.max.ms 5000 在producer queue的緩存的數據最大時間，僅僅for asyc
queue.buffering.max.message 10000 producer 緩存的消息的最大數量，僅僅for asyc
queue.enqueue.timeout.ms -1 0當queue滿時丟掉，負值是queue滿時block,正值是queue滿時block相應的時間，僅僅for asyc
batch.num.messages 200 一批消息的數量，僅僅for asyc
request.required.acks 0 0表示producer無需等待leader的確認，1代表需要leader確認寫入它的本地log並立即確認，-1代表所有的備份都完成後確認。 僅僅for sync
request.timeout.ms 10000 確認超時時間