flink(2)datastream API基本使用

在本文中，我們從頭開始，通過在flink上運行一個流分析程序來學習如何使用flink。

Wikipedia提供了一個IRC頻道，這個頻道會記錄所有在維基百科上編輯的內容。我們通過flink來讀取這個頻道，並計算每個用戶在一個時間窗口內編輯的字節數。這個很簡單，在flink中實現只需要幾分鐘。但這個可以給我們一個瞭解flink並編寫更復雜計算程序的臺階。

開啓一個maven工程

我們通過flink提供的maven腳手架來創建我們的工程骨架，如果通過腳手架來創建工程可以通過 Java API Quickstart 來了解，本次我們的腳手架工程命令如下：

$ mvn archetype:generate \
    -DarchetypeGroupId=org.apache.flink \
    -DarchetypeArtifactId=flink-quickstart-java \
    -DarchetypeVersion=1.7.2 \
    -DgroupId=wiki-edits \
    -DartifactId=wiki-edits \
    -Dversion=0.1 \
    -Dpackage=wikiedits \
    -DinteractiveMode=false

上述命令我們可以根據需求來修改groupId,artifactId和package。

工程生成後，我們需要添加Flink Wikipedia connector依賴，這樣我們就可以在程序中使用它，在我們pom.xml中，dependencies如下：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-wikiedits_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>
</dependencies>

其中，flink-connector-wikiedits_2.11 是我們額外添加的依賴。

編寫一個Flink程序

現在是編碼時間，打開我們常用的IDE，導入我們剛纔創建的maven工程。創建WikipediaAnalysis.java文件。

package wikiedits;

public class WikipediaAnalysis {

    public static void main(String[] args) throws Exception {

    }
}

這個代碼很基礎，但我們會往裏面填充需要的內容。注意，我不會將import語句列出，因爲這些IDE會自動幫我們處理。在這個文章的結尾，我們展示全部代碼包含import語句。如果你想將代碼粘貼到你的編輯器，你可以跳過這段。

第一步，我們需要創建一個StreamExecutionEnvironment（或者ExecutionEnvironment如果你想寫一個批處理任務）。這個類用於設置執行參數和創建輸入源，用來從外部系統讀取數據。現在我們可以在main方法中添加如下代碼。

StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();

下一步，我們需要創建一個一個輸入源，從Wikipedia IRC log中讀取數據。

DataStream<WikipediaEditEvent> edits = see.addSource(new WikipediaEditsSource());

這行語句創建了一個包含WikipediaEditEvent的DataStream，它允許我們進一步處理。本次我們的目的是計算每個用戶在一個特定時間範圍內新增或移除的字節數，我們假設是5秒。因此，我們首先需要通過用戶名來標記數據源，也就是說後續的操作需要考慮用戶名。在我們這個例子中，統計一個時間窗口內編輯的字符是對每一個用戶單獨統計。在Flink中，提供了KeySelector這個類，方便我們標記一個流。如下：

KeyedStream<WikipediaEditEvent, String> keyedEdits = edits
    .keyBy(new KeySelector<WikipediaEditEvent, String>() {
        @Override
        public String getKey(WikipediaEditEvent event) {
            return event.getUser();
        }
    });

通過上面的代碼，我們會獲取到一個帶有key（用戶名）的stream，

我們現在可以在上面添加時間窗口及計算。時間窗口會篩選流上的一段內容，我們可以在上面進行計算。窗口是必須的，當我們是在一個無盡的流上進行聚合時。在我們這個例子中，我們統計沒5秒內用戶編輯的字節數。

DataStream<Tuple2<String, Long>> result = keyedEdits
    .timeWindow(Time.seconds(5))
    .fold(new Tuple2<>("", 0L), new FoldFunction<WikipediaEditEvent, Tuple2<String, Long>>() {
        @Override
        public Tuple2<String, Long> fold(Tuple2<String, Long> acc, WikipediaEditEvent event) {
            acc.f0 = event.getUser();
            acc.f1 += event.getByteDiff();
            return acc;
        }
    });

首先調用timeWindow(),j假設我們希望在一個5秒的滾動時間窗口(無重疊)，第二步在每個流動窗口上，對每個key調用一個Fold transformation。在我們這個例子中，我們從一個初始值("", 0L)開始，並且在每個時間窗口內對每個用戶累加編輯變動的字節數。每個用戶每5秒鐘的計算結果包含在Tuple2<String, Long>內。
剩下我們需要做的事情即打印流到控制檯並執行整個程序。

result.print();
see.execute();

最後一句execute是必須的， 它會啓動一個真正的flink任務。所有的操作，包括創建輸入源，轉換，輸出源。這些會構成一張內部操作圖，只有當execute()被調用，這個圖上的操作纔會被集羣或本機執行。
完整代碼如下：

package wikiedits;

import org.apache.flink.api.common.functions.FoldFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.connectors.wikiedits.WikipediaEditEvent;
import org.apache.flink.streaming.connectors.wikiedits.WikipediaEditsSource;

public class WikipediaAnalysis {

  public static void main(String[] args) throws Exception {

    StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();

    DataStream<WikipediaEditEvent> edits = see.addSource(new WikipediaEditsSource());

    KeyedStream<WikipediaEditEvent, String> keyedEdits = edits
      .keyBy(new KeySelector<WikipediaEditEvent, String>() {
        @Override
        public String getKey(WikipediaEditEvent event) {
          return event.getUser();
        }
      });

    DataStream<Tuple2<String, Long>> result = keyedEdits
      .timeWindow(Time.seconds(5))
      .fold(new Tuple2<>("", 0L), new FoldFunction<WikipediaEditEvent, Tuple2<String, Long>>() {
        @Override
        public Tuple2<String, Long> fold(Tuple2<String, Long> acc, WikipediaEditEvent event) {
          acc.f0 = event.getUser();
          acc.f1 += event.getByteDiff();
          return acc;
        }
      });

    result.print();

    see.execute();
  }
}

你現在可以在你的IDE或命令行中運行這個程序，使用maven如下：

$ mvn clean package
$ mvn exec:java -Dexec.mainClass=wikiedits.WikipediaAnalysis

第一行命令構建我們的工程，第二行執行我們的main函數，輸出結果和下面類似：

1> (Fenix down,114)
6> (AnomieBOT,155)
8> (BD2412bot,-3690)
7> (IgnorantArmies,49)
3> (Ckh3111,69)
5> (Slade360,0)
7> (Narutolovehinata5,2195)
6> (Vuyisa2001,79)
4> (Ms Sarah Welch,269)
4> (KasparBot,-245)

每行前面的數字告訴我們是哪個並行輸出源實例輸出的。

從這個例子中，我們應該能學會如何啓動一個flink工程。下面我們來學習一下進階內容，如何將數據寫入kafka中。

進階：如何將數據寫入Kafka

首先，需要確保我們本地已經安裝並啓動了flink和kafka程序。

第一步，我們需要添加Flink Kafka connector依賴，這樣我們就能使用kafka輸出源。在pom.xml中添加如下依賴：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
    <version>${flink.version}</version>
</dependency>

下一步，我們修改我們程序，移除print()輸出源，用Kafka輸出源代替，這個新的代碼如下：

result
    .map(new MapFunction<Tuple2<String,Long>, String>() {
        @Override
        public String map(Tuple2<String, Long> tuple) {
            return tuple.toString();
        }
    })
    .addSink(new FlinkKafkaProducer011<>("localhost:9092", "wiki-result", new SimpleStringSchema()));

相關的類我們需要導入：

import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.common.functions.MapFunction;

我們之所以將Tuple2<String, Long>轉成String，是因爲kafka寫入String比較方便。然後我們需要添加一個kafka輸出源，你可能需要根據實際配置修改你的hostname和port。“wiki-result” 是我們對輸出流的命名。爲了使工程能夠在flink集羣上運行，我們需要用maven將代碼打包成jar。
$ mvn clean package

打包的jar在target子目錄，我們稍後會用到它。

現在我們可以啓動一個flink cluster，這樣才能往kafka裏面寫數據。

$ cd my/flink/directory
$ bin/start-cluster.sh

我們也需要創建一個kafka topic。

$ cd my/kafka/directory
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wiki-results

現在我們可以運行我們的jar文件了。

$ cd my/flink/directory
$ bin/flink run -c wikiedits.WikipediaAnalysis path/to/wikiedits-0.1.jar

你可以看到2個獨立操作啓動運行，只有2個是因爲在窗口結束後的的操作算一個，在flink中，我們稱這個爲鏈式。

你也可以在命令行中觀察kafka消費，查看結果。

bin/kafka-console-consumer.sh  --zookeeper localhost:2181 --topic wiki-result