MacOS 在 Intellij IDEA 上配置 Flink-1.8.0 環境

文章目錄

1 簡介

本文目的：詳細介紹 MacOS 上的 Intellij IDEA 中配置 Flink-1.8.0 的過程。

2 配置先決條件

2.1 系統

MacOS Mojave

2.2 Java 環境

（1）未安裝 jdk 的情況

下載 jdk 1.8，官網鏈接。
配置環境變量等操作，請參考這篇博客，這裏不作詳述。

（2）已安裝 jdk ，但該版本高於 jdk 1.8 的情況，必須再安裝 jdk 1.8

下載與環境配置同（1）
因爲安裝了兩個版本的 jdk，所以需要指定使用哪個 java 版本。有手動切換和自動切換兩種方法，可參考這篇博文，這裏不作贅述。

$ java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

2.3 Intellij IDEA

若未下載，可前往官網鏈接下載，community 版本即可。

2.4 Maven

若未下載，可前往官網鏈接下載。我下載的是 apache-maven-3.6.1-bin.tar.gz.
安裝配置可參考這篇博客，這裏不再詳述。

$ mvn -version
Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00)
Maven home: /Users/yantong/Downloads/apache-maven-3.6.1
Java version: 1.8.0_211, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "mac os x", version: "10.14.5", arch: "x86_64", family: "mac"

2.5 Flink

於官網鏈接上下載 Apache flink-1.8.0 Scala 2.11
解壓

$ cd ~/Downloads        # Go to download directory
$ tar xzf flink-*.tgz   # Unpack the downloaded archive

3 創建 Maven 項目

我們將使用 Maven archetypes 來構建項目。

3.1 進入到你想創建項目的工作目錄

例如，我想創建在 IdeaProjects 下，進入該目錄

$ cd IdeaProjects

3.2 使用 Maven 創建項目

打開 Terminal，鍵入

$ mvn archetype:generate

回車，會出現如下信息

[INFO] Scanning for projects...
[INFO] 
[INFO] ------------------< org.apache.maven:standalone-pom >-------------------
[INFO] Building Maven Stub Project (No POM) 1
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] >>> maven-archetype-plugin:3.1.0:generate (default-cli) > generate-sources @ standalone-pom >>>
[INFO] 
[INFO] <<< maven-archetype-plugin:3.1.0:generate (default-cli) < generate-sources @ standalone-pom <<<
[INFO] 
[INFO] 
[INFO] --- maven-archetype-plugin:3.1.0:generate (default-cli) @ standalone-pom ---
[INFO] Generating project in Interactive mode

回車，當出現Define value for property 'groupId'時，鍵入如下，並回車

Define value for property 'groupId': org.apache.flink

當出現如下等Define value for property 'artifactId':和 Define value for property 'version' 1.0-SNAPSHOT:信息時，鍵入如下，並回車

Define value for property 'groupId': org.apache.flink
Define value for property 'artifactId': flink-quickstart-java
Define value for property 'version' 1.0-SNAPSHOT: : 1.8.0
Define value for property 'package' org.apache.flink: : com.panda
Confirm properties configuration:
groupId: org.apache.flink
artifactId: flink-quickstart-java
version: 1.8.0
package: com.panda

出現 BUILD SUCCESS 信息時，表示創建成功。
使用tree 查看建立好的項目

$ tree flink-quickstart-java
flink-quickstart-java
├── pom.xml
└── src
    ├── main
    │   └── java
    │       └── com
    │           └── panda
    │               └── App.java
    └── test
        └── java
            └── com
                └── panda
                    └── AppTest.java

3.3 使用 IntelliJ IDEA 打開創建好的項目

Step 1: 打開 Intellij IDEA，選擇 Import Project

Step 2: 選擇 Import project from external model，選擇Maven，點擊Next

Step 3: 點擊Next

Step 4: 點擊Next

Step 5: 點擊Next

Step 6: 點擊 Finish

Step 7: 導入成功，即可看到如圖

Step 8: 打開pom.xml，添加依賴

因爲我們需導入是 Flink-1.8.0，參考其官方鏈接，導入 Java 編程環境必須的依賴。官網提供了 Java 和 Scala的，按自己需要添加。下面是 Java 環境的必需依賴。

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.8.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.8.0</version>
  <scope>provided</scope>
</dependency>

將上面這部分代碼複製到 pom.xml 的裏面，如圖所示，複製完後，點擊右下角的"Enable Auto-import"

4 WordCount 測試代碼

Step 1: 複製官網上的 WordCount 測試代碼

本文的目的是搭建環境，並進行測試，所以使用來自官方文檔的 WordCount 代碼進行測試。在目錄下新建一個 Java Class文件，並將以下代碼複製進去。

package com.panda;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class WordCount {

    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        DataSet<String> text = env.fromElements(
                "Who's there?",
                "I think I hear them. Stand, ho! Who's there?");

        DataSet<Tuple2<String, Integer>> wordCounts = text
                .flatMap(new LineSplitter())
                .groupBy(0)
                .sum(1);

        wordCounts.print();
    }

    public static class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
        public void flatMap(String line, Collector<Tuple2<String, Integer>> out) {
            for (String word : line.split(" ")) {
                out.collect(new Tuple2<String, Integer>(word, 1));
            }
        }
    }
}

Step 2: 運行程序，解決 Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.DataSet 問題

右鍵運行 WordCount.java 文件，明明代碼沒有問題，pom.xml 文件也按照官方文檔的 Basic Dependencies 進行配置，爲何還是報以下錯誤：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/java/DataSet
	at java.lang.Class.getDeclaredMethods0(Native Method)
	at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
	at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
	at java.lang.Class.getMethod0(Class.java:3018)
	at java.lang.Class.getMethod(Class.java:1784)
	at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.DataSet
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 7 more

Process finished with exit code 1

由 Caused by: java.lang.ClassNotFoundException: org.apache.flink.api.java.DataSet 得知，缺少 Flink-1.8.0 中的 lib 包。

Step 3: 導入 flink-1.8.0 中的 lib 和 opt 包

打開 Project Stucture；
選擇左列中的 Modules；
選擇右列中的 Dependencies；
選擇右列中左下角的"+"號；
選擇"1 JARs or directories"；
選擇下載的 flink-1.8.0 中的 lib 和 opt 包；

添加好如圖：
點擊 apply 和 ok。

Step 4: 再次運行 WordCount.java 程序，成功

運行結果：

log4j:WARN No appenders could be found for logger (org.apache.flink.api.java.ExecutionEnvironment).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
(hear,1)
(ho!,1)
(them.,1)
(Stand,,1)
(I,2)
(Who's,2)
(there?,2)
(think,1)

Process finished with exit code 0

5 將 Java 程序打包成 jar 包

Step 1: 打開 Project Structure -> artifacts

選擇 JAR -> From modules with dependencies

打開如圖：

Step 2: 選擇 WordCount 作爲MainClass

點擊 MainClass，選擇 WordCount，點OK

Step 3: 勾選"Include in project build"，點OK

Step 4: Build artifacts

Step 5: Build 成功之後，會出現一個 out 文件夾，裏面就有打包好的 jar 包

6 啓動 Flink，運行 jar 包

Step 1: 進入到 flink-1.8.0 的路徑

我的 flink-1.8.0 就在 Downloads 裏面，讀者可根據自己的下載位置進入路徑

cd ~/Downloads/flink-1.8.0

Step 2: 啓動 flink，打開瀏覽器

在 Terminal 中輸入以下命令，啓動 Flink

./bin/start-cluster.sh

打開瀏覽器，在地址欄輸入 localhost:8081，回車，即可顯示 flink 的可視化界面

Step 3: 提交 jar 包到 flink 上

首先，爲了方便，把5中生成的 flink-quickstart-java.jar 複製到 flink-1.8.0 的examples中

在 Terminal 中鍵入

$ ./bin/flink run -c com.panda.WordCount examples/flink-quickstart-java.jar

其中，-c 表示選擇的 class，因爲我是將整個項目打包成 jar 包的，需要選擇MainClass

在 Terminal 中顯示結果如下：

Starting execution of program
(I,2)
(Stand,,1)
(Who's,2)
(hear,1)
(ho!,1)
(them.,1)
(there?,2)
(think,1)
Program execution finished
Job with JobID 79202112687cdbaacca520c1db6da68c has finished.
Job Runtime: 2230 ms
Accumulator Results: 
- ca35e52bc9f5a07b095f6da5746cb9bf (java.util.ArrayList) [8 elements]

在 Step 4中打開的網頁，可以看到可視化項目處理過程

7 總結

到這裏，在 MacOS 上搭建 Flink-1.8.0 的環境基本就結束了，本篇博客已上傳至我的 Github 。
本文細緻地介紹了搭建、代碼測試的全過程，之後我將會繼續學習 Flink 的程序編寫，批處理、流處理等，歡迎關注點贊，有什麼問題歡迎在 Github 上與我討論，給我留言，謝謝。