Kafka 配置說明

配置文件在config/server.properties

下面的一些配置可能是你需要進行修改的。

broker.id	整數，建議根據ip區分
log.dirs	kafka存放消息文件的路徑，	默認/tmp/kafka-logs
port	broker用於接收producer消息的端口
zookeeper.connnect	zookeeper連接	格式爲  ip1:port,ip2:port,ip3:port
message.max.bytes	單條消息的最大長度
num.network.threads	broker用於處理網絡請求的線程數	如不配置默認爲3，server.properties默認是2
num.io.threads	broker用於執行網絡請求的IO線程數	如不配置默認爲8，server.properties默認是2可適當增大，
queued.max.requests	排隊等候IO線程執行的requests	默認爲500
host.name	broker的hostname	默認null,建議寫主機的ip,不然消費端不配置hosts會有麻煩
num.partitions	topic的默認分區數	默認1
log.retention.hours	消息被刪除前保存多少小時	默認1周168小時
auto.create.topics.enable	是否可以程序自動創建Topic	默認true,建議false
default.replication.factor	消息備份數目	默認1不做複製，建議修改
num.replica.fetchers	用於複製leader消息到follower的IO線程數	默認1

2.程序內指定（可以通過參數傳入）

val conf = new SparkConf()
             .setMaster(...)
val sc = new SparkContext(conf)

傳遞給spark的master url可以有如下幾種：

local 本地單線程
local[K] 本地多線程（指定K個內核）
local[*] 本地多線程（指定所有可用內核）
spark://HOST:PORT 連接到指定的 Spark standalone cluster master，需要指定端口。
mesos://HOST:PORT 連接到指定的 Mesos 集羣，需要指定端口。
yarn-client客戶端模式 連接到 YARN 集羣。需要配置 HADOOP_CONF_DIR。
yarn-cluster集羣模式 連接到 YARN 集羣。需要配置 HADOOP_CONF_DIR。

作者：知乎用戶
鏈接：https://www.zhihu.com/question/23967309/answer/26243256
來源：知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。