Kafka 配置说明

配置文件在config/server.properties

下面的一些配置可能是你需要进行修改的。

broker.id	整数，建议根据ip区分
log.dirs	kafka存放消息文件的路径，	默认/tmp/kafka-logs
port	broker用于接收producer消息的端口
zookeeper.connnect	zookeeper连接	格式为  ip1:port,ip2:port,ip3:port
message.max.bytes	单条消息的最大长度
num.network.threads	broker用于处理网络请求的线程数	如不配置默认为3，server.properties默认是2
num.io.threads	broker用于执行网络请求的IO线程数	如不配置默认为8，server.properties默认是2可适当增大，
queued.max.requests	排队等候IO线程执行的requests	默认为500
host.name	broker的hostname	默认null,建议写主机的ip,不然消费端不配置hosts会有麻烦
num.partitions	topic的默认分区数	默认1
log.retention.hours	消息被删除前保存多少小时	默认1周168小时
auto.create.topics.enable	是否可以程序自动创建Topic	默认true,建议false
default.replication.factor	消息备份数目	默认1不做复制，建议修改
num.replica.fetchers	用于复制leader消息到follower的IO线程数	默认1

2.程序内指定（可以通过参数传入）

val conf = new SparkConf()
             .setMaster(...)
val sc = new SparkContext(conf)

传递给spark的master url可以有如下几种：

local 本地单线程
local[K] 本地多线程（指定K个内核）
local[*] 本地多线程（指定所有可用内核）
spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

作者：知乎用户
链接：https://www.zhihu.com/question/23967309/answer/26243256
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。