Kafka 集羣間數據鏡像實測

由於數據安全，網速等要求，許多公司都會建立多個數據中心，每個數據中心有獨立的 Kafka 集羣。爲保持不同中心間的數據同步，就有必要在 Kafka 集羣間進行數據鏡像。kafka-mirror-maker 命令或應用 Kafka Connect 可用於在多個 Kafka 集羣相同的 Topic 之間互間同步數據。

這裏就來體驗一下不同的 Kafka 集羣間如何用 kafka-mirror-maker 進行 topic 數據鏡像。測試環境選擇用兩個 Vagrant 虛擬機，當然同一個主機上在不同的 ZooKeeper chroot 或不同的端口中也能演示同樣的功能。

首先要兩啓兩個 Vagrant 虛擬機，這裏用的是 Ubuntu Server 18.04。需要在本地建立兩個目錄, 分別是 ubuntu-server-1 和 ubuntu-server-2, 在各自目錄中建立 Vagrantfile 文件，內容如下：

Vagrant.configure("2") do |config|
  config.vm.box = "ubuntu/disco64"
  config.vm.provider "virtualbox" do |vb|
      vb.memory = "2048"
  end
  config.vm.network "private_network", type: "dhcp"
  config.vm.hostname = "ubuntu-server-1"    # 另一臺機器指定 ubuntu-server-2
end

以下啓動 Vagrant 虛擬機，安裝 JDK8 和 啓動 ZooKeeper, Kafka 分別要在兩個目錄 (ubuntu-server-1 和 ubuntu-server-2) 中各執行一遍。 閱讀全文 >>