Flink1.9.1源碼編譯支持hadoop-2.6.0-cdh5.16.2

準備

    jdk-8u211-linux-x64.tar.gz

    flink-1.9.1-src.tgz

    flink-shaded-7.0-src.tgz

    apache-maven-3.6.1-bin.tar.gz

注：根據官方文檔顯示flink-1.9.1編譯需要Java8、Maven3

 

配置環境

    解壓jdk，並配置Java環境變量

    解壓Maven，配置Maven環境變量   

 

編譯準備

解壓 flink-shaded-7.0

tar -zxvf flink-shaded-7.0-src.tgz
cd flink-shaded-7.0

在 flink-shaded-7.0 根目錄的pom.xml文件中添加 cloudera 的maven庫

<!--添加CDH的倉庫-->
<repositories>
<repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories>

在 flink-shaded-7.0/flink-shaded-hadoop-2-uber/pom.xml 中的 dependencyManagement 標籤中添加如下依賴

<dependency>
	<groupId>commons-cli</groupId>
	<artifactId>commons-cli</artifactId>
	<version>1.3.1</version>
</dependency>

注意：這一步一定要添加，不然編譯成功後，啓動不了，並 .out 文件中拋出如下錯誤：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;

原因是項目打包後，依賴的 commons-cli 是1.2版本的，build 方法在該版本中不存在

編譯並安裝到本地倉庫

mvn clean install -Dhadoop.version=2.6.0-cdh5.16.2

Flink編譯

# 解壓並進入項目根目錄
tar -zxvf flink-1.9.1-src.tgz
cd flink-1.9.1

# 編譯flink
mvn clean package -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.16.2 -Dscala-2.12 -Pinclude-hadoop

# -Pinclude-hadoop  將 hadoop的 jar包，打入到lib/中
# -Pvendor-repos   # 使用cdh、hdp 的hadoop 需要添加該參數
# -Dscala-2.12     # 指定scala的版本爲2.12
# -Dhadoop.version=2.6.0-cdh5.16.2  指定 hadoop 的版本

# 等待編譯完成 編譯完成後在 flink-dist/target/ 下有一個 flink-1.9.1-bin 的文件夾，裏面就是編譯完成後的應用程序了