kafka connect:task是如何分配的?

       Worker会通过协调者获取分配的连接器与任务。Worker客户端为了加入到组管理中,通过客户端的协调者对象(WorkerCoordinator)来和服务端的消费组协调者(GroupCoordinator)通信。
       Worker组的每个Worker成员用WorkerGroupMember表示,WorkerCoordinator继承了抽象的AbstractCoordinator类。抽象类实现了组管理协议,它的主要方法是ensureActiveGroup(),客户端调用该方法,最终可确保组成员得到协调者返回的分配结果。
       task的分配策略是在具体的connector实现类中的taskConfigs方法实现的,这个方法定义了所有任务的配置信息,每个任务的配置不同,就可以处理不同的数据。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章