通過Spark Streaming作業處理Kafka數據

本節介紹如何使用阿里雲E-MapReduce部署Hadoop集羣和Kafka集羣，並運行Spark Streaming作業消費Kafka數據。

前提條件

• 已註冊阿里雲賬號，詳情請參見註冊雲賬號。
• 已開通E-MapReduce服務。
• 已完成雲賬號的授權，詳情請參見角色授權。

背景信息

在開發過程中，通常會遇到消費Kafka數據的場景。在阿里雲E-MapReduce中，您可通過運行Spark Streaming作業來消費Kafka數據。

步驟一 創建Hadoop集羣和Kafka集羣

推薦您將Hadoop集羣和Kafka集羣創建在同一個安全組下。如果Hadoop集羣和Kafka集羣不在同一個安全組下，則兩者的網絡默認是不互通的，您需要對兩者的安全組分別進行相關配置，以使兩者的網絡互通。

1. 登錄阿里雲 E-MapReduce 控制檯。
2. 創建Hadoop集羣，詳

---