AWS正是推託管Apache Kafka串流服務

AWS在re:Invent 2018大會上首先釋出託管Apache Kafka串流服務（Amazon Managed Streaming for Apache Kafka，MSK）的消息，現在已經脫離預覽階段推出正式服務。Apache Kafka是一個分佈式的串流平臺，其使用發佈以及訂閱的架構，將產生串流數據的應用程序與利用串流數據的角色分離。Apache Kafka讓使用者可以捕捉像是串流事件、交易、物聯網事件，或是應用程序與日誌等串流數據，還能實時進行分析，連續不間斷地轉換數據，並再將收到的數據經過處理後，分散到其他的數據湖和數據庫中。

AWS提到，用戶在生產環境中要配置Apache Kafka，需要克服一些障礙，特別是在後續的管理以及規模擴展工作上，而現在AWS正式推出的MSK服務，則由AWS負責管理任務，讓用戶可以簡單地配置使用，而且由於近幾個版本的Kafka，都需要與節點協調程序Zookeeper共同使用，因此MSK服務也只要簡單地設定，就能讓Kafka與ZooKeeper一同運作。使用MSK服務，用戶可以在幾分鐘內創建叢集，並使用AWS身分管理與訪問控制IAM管理叢集操作，也能透過ACM（AWS Certificate Manager）完全託管的TLS私密憑證頒發機構授權客戶端，以TLS加密數據，並使用KMS（AWS Key Management Service）中的密鑰加密其他數據。當服務器發生故障時，MSK還會替換故障機器，自動執行修補工作，用戶可以從Amazon CloudWatch中，監控服務的狀態指標。
AWS表示，MSK與Kafka 1.1.1和2.1.0版本完全兼容，因此用戶可以在AWS直接執行原本的Kafka應用程序以及工具，而不需要修改任何的程序代碼，用戶能使用開源工具MirrorMaker，將數據從現有的Kafka叢集直接搬移到MSK上。MSK的計價方式是以Kafka Broker以及配置儲存每小時計價，MSK的數據傳輸費率與原本的AWS數據傳輸相同，而叢集所使用的Zookeeper節點，還有區域叢集的Broker和Zookeeper節點互傳數據是不額外收費的。現在用戶已經可以在大部分的AWS區域使用到MSK服務，包括北美、亞洲與歐洲。