【Flink】Flink的編譯（包含hadoop的依賴）

好久沒寫文章了，手都有點生。

菜雞一隻，如果有說錯的還請大家批評！

最近工作上的事情還是有點忙的，主要都是一些雜活，不幹又不行，幹了好像提升又不多，不過拿人家手短吃人家嘴軟，既然拿了工資就應該好好的幹活，當然前提是需求相對合理的情況嘿嘿~

近來Flink的勢頭有點猛啊，它和spark的區別在於：spark更傾向於批處理或者微批處理（spark現在的發展方向往人工智能的分佈式算法上走了），但是Flink確確實實是爲流誕生的（當然也可以做批處理就是了），不過現行的Flink版本還是有缺陷的，比如不能很好的支持Hive（畢竟還是有絕大多數公司在使用Hive作爲數據倉庫的），不過印象中好像說Flink在1.9的版本後，會開始支持Hive，那就很棒棒了！

閒話不多說，開始編譯！

1、首先下載源碼

https://github.com/apache/flink/

大家各自選擇合適的版本，我一開始選擇的是最新的1.9版本，我發現有些（hadoop的）包，找不到，還挺頭疼的，最後我選擇了1.7的版本來完成編譯。其實如果是自己玩玩，我還是更喜歡最新的版本的，哎可惜了！

 

2、上傳服務器，解壓

下載好源碼之後一般是：flink-release-1.7.zip  這個樣子

然後 unzip flink-release-1.7.zip 得到文件夾

 

3、編譯前的準備

需要Maven 3和至少JDK1.8

這兩個東西應該沒問題吧，如果搞不定可以百度下，如果百度完還搞不定，那可能。。。。暫時還是不要編譯吧，先把基礎學好，原理搞清楚，想用Flink的話去官網下載官方編譯好的版本吧

如果你的服務器上執行這兩個命令，也能看到對應的回顯信息，那證明你的前置環境應該是沒問題了！

 

4、開始編譯

進入到解壓好的flink文件夾中，如圖（我是已經編譯好的文件夾，所以大家可能會看到一些源碼中沒有的文件或者文件夾）：

# 最基礎的編譯方法，聽說會自動使用pom裏面的hadoop版本去編譯，但是一般情況下，我們都會有自己指定的版本，所以一般不會用這個
mvn clean install -DskipTests


# 另一種編譯命令，相對於上面這個命令，主要的確保是：
# 不編譯tests、QA plugins和JavaDocs，因此編譯要更快一些
mvn clean install -DskipTests -Dfast

 
# 如果你需要使用指定hadoop的版本，可以通過指定"-Dhadoop.version"來設置，編譯命令如下：
mvn clean install -DskipTests -Dhadoop.version=2.6.0
# 或者
mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.12.1


# 但是我發現使用cdh版本的時候，老是有這個或者那個flink集成hadoop的jar包下載不到，還是挺麻煩的，所以我最後選擇的是

mvn clean install -DskipTests -Dhadoop.version=2.6.0

 

5、雖然執行了命令，但是會有各種報錯！

異常類型一：

如下圖（這裏引用了作者：青藍莓的文章的截圖）：

這是一個共性問題，有些包找不到，或者下不到解決方案就是手動安裝

比如圖中缺少kafka的包

mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=3.3.1 -Dpackaging=jar  -Dfile=E:\bigdata_flink\packages\kafka-schema-registry-client-3.3.1.jar

比如缺少

Could not find artifact com.mapr.hadoop:maprfs:jar:5.2.1-mapr

# 1.下載
# 手動下載jar包 https://repository.mapr.com/nexus/content/groups/mapr-public/com/mapr/hadoop/maprfs/5.2.1-mapr/maprfs-5.2.1-mapr.jar然後扔到服務器上的/opt/bianyi/jar路徑上
# 2.安裝
mvn install:install-file -DgroupId=com.mapr.hadoop -DartifactId=maprfs -Dversion=5.2.1-mapr -Dpackaging=jar  -Dfile=/opt/bianyi/jar/maprfs-5.2.1-mapr.jar

通過這種方式，就可以把這個jar包放在自己maven的倉庫的對應路徑下！

異常類型二：（這種報錯我沒有實際遇到過，但我看有些人編譯的時候有遇到）

例如：https://blog.csdn.net/qq475781638/article/details/90260202（作者：灰二和杉菜）

如果有些如下類型的報錯

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project XXXflink的某個模塊: Compilation failure: Compilation failure:
[ERROR] XXXXX某個類.java:[70,44] 程序包org.apache.XXXX不存在
[ERROR] XXXXX某個類.java:[73,45] 找不到符號
[ERROR]   符號:   類 XXX某個類名
[ERROR]   位置: 程序包 XXX某個包
[ERROR] XXX某個路徑XX某個類.java:[73,93] 找不到符號

這種還蠻有可能是pom裏面缺少了某些依賴，嘗試找到這個類是在哪個依賴，然後去中央倉庫找出來，通過pom的形式添加到flink對應子項目的pom裏面，詳細可以看看上面那篇博客的編譯報錯2

異常類型三：

這種報錯，我還真是見了鬼了

[ERROR] Failed to execute goal on project flink-mapr-fs: Could not resolve dependencies for project org.apache.flink:flink-mapr-fs:jar:1.7-SNAr:5.2.1-mapr: Failed to read artifact descriptor for com.mapr.hadoop:maprfs:jar:5.2.1-mapr: Could not transfer artifact com.mapr.hadoop:maprfs/maven/): sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: un 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal on project flink-mapr-fs: Could not resolve dependencies for prollect dependencies at com.mapr.hadoop:maprfs:jar:5.2.1-mapr
    at org.apache.maven.lifecycle.internal.LifecycleDependencyResolver.getDependencies (LifecycleDependencyResolver.java:249)
.....
.....
Caused by: org.apache.maven.project.DependencyResolutionException: Could not resolve dependencies for project org.apache.flink:flink-mapr-fs:j:maprfs:jar:5.2.1-mapr
    at org.apache.maven.project.DefaultProjectDependenciesResolver.resolve (DefaultProjectDependenciesResolver.java:178)
.....
.....
Caused by: org.eclipse.aether.collection.DependencyCollectionException: Failed to collect dependencies at com.mapr.hadoop:maprfs:jar:5.2.1-map
    at org.eclipse.aether.internal.impl.DefaultDependencyCollector.collectDependencies (DefaultDependencyCollector.java:293)
.....
.....
Caused by: org.eclipse.aether.resolution.ArtifactDescriptorException: Failed to read artifact descriptor for com.mapr.hadoop:maprfs:jar:5.2.1-
    at org.apache.maven.repository.internal.DefaultArtifactDescriptorReader.loadPom (DefaultArtifactDescriptorReader.java:276)
.....
.....
Caused by: org.eclipse.aether.resolution.ArtifactResolutionException: Could not transfer artifact com.mapr.hadoop:maprfs:pom:5.2.1-mapr from/t.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid cer
    at org.eclipse.aether.internal.impl.DefaultArtifactResolver.resolve (DefaultArtifactResolver.java:422)
.....
.....
Caused by: org.eclipse.aether.transfer.ArtifactTransferException: Could not transfer artifact com.mapr.hadoop:maprfs:pom:5.2.1-mapr from/to maidator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certifi
    at org.eclipse.aether.connector.basic.ArtifactTransportListener.transferFailed (ArtifactTransportListener.java:52)
.....
Caused by: org.apache.maven.wagon.TransferFailedException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.d certification path to requested target
    at org.apache.maven.wagon.providers.http.AbstractHttpClientWagon.resourceExists (AbstractHttpClientWagon.java:742)

反正報錯真的挺長的，我百度了一段時間，居然發現是什麼：缺少安全證書時出現的異常。

解決問題方法：

將你要訪問的webservice/url....的安全認證證書導入到客戶端即可。

以下是獲取安全證書的一種方法，通過以下程序獲取安全證書：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.security.KeyStore;
import java.security.MessageDigest;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import javax.net.ssl.SSLContext;
import javax.net.ssl.SSLException;
import javax.net.ssl.SSLSocket;
import javax.net.ssl.SSLSocketFactory;
import javax.net.ssl.TrustManager;
import javax.net.ssl.TrustManagerFactory;
import javax.net.ssl.X509TrustManager;
 
public class InstallCert {
 
    public static void main(String[] args) throws Exception {
        String host;
        int port;
        char[] passphrase;
        if ((args.length == 1) || (args.length == 2)) {
            String[] c = args[0].split(":");
            host = c[0];
            port = (c.length == 1) ? 443 : Integer.parseInt(c[1]);
            String p = (args.length == 1) ? "changeit" : args[1];
            passphrase = p.toCharArray();
        } else {
            System.out
                    .println("Usage: java InstallCert <host>[:port] [passphrase]");
            return;
        }
 
        File file = new File("jssecacerts");
        if (file.isFile() == false) {
            char SEP = File.separatorChar;
            File dir = new File(System.getProperty("java.home") + SEP + "lib"
                    + SEP + "security");
            file = new File(dir, "jssecacerts");
            if (file.isFile() == false) {
                file = new File(dir, "cacerts");
            }
        }
        System.out.println("Loading KeyStore " + file + "...");
        InputStream in = new FileInputStream(file);
        KeyStore ks = KeyStore.getInstance(KeyStore.getDefaultType());
        ks.load(in, passphrase);
        in.close();
 
        SSLContext context = SSLContext.getInstance("TLS");
        TrustManagerFactory tmf = TrustManagerFactory
                .getInstance(TrustManagerFactory.getDefaultAlgorithm());
        tmf.init(ks);
        X509TrustManager defaultTrustManager = (X509TrustManager) tmf
                .getTrustManagers()[0];
        SavingTrustManager tm = new SavingTrustManager(defaultTrustManager);
        context.init(null, new TrustManager[] { tm }, null);
        SSLSocketFactory factory = context.getSocketFactory();
 
        System.out
                .println("Opening connection to " + host + ":" + port + "...");
        SSLSocket socket = (SSLSocket) factory.createSocket(host, port);
        socket.setSoTimeout(10000);
        try {
            System.out.println("Starting SSL handshake...");
            socket.startHandshake();
            socket.close();
            System.out.println();
            System.out.println("No errors, certificate is already trusted");
        } catch (SSLException e) {
            System.out.println();
            e.printStackTrace(System.out);
        }
 
        X509Certificate[] chain = tm.chain;
        if (chain == null) {
            System.out.println("Could not obtain server certificate chain");
            return;
        }
 
        BufferedReader reader = new BufferedReader(new InputStreamReader(
                System.in));
 
        System.out.println();
        System.out.println("Server sent " + chain.length + " certificate(s):");
        System.out.println();
        MessageDigest sha1 = MessageDigest.getInstance("SHA1");
        MessageDigest md5 = MessageDigest.getInstance("MD5");
        for (int i = 0; i < chain.length; i++) {
            X509Certificate cert = chain[i];
            System.out.println(" " + (i + 1) + " Subject "
                    + cert.getSubjectDN());
            System.out.println("   Issuer  " + cert.getIssuerDN());
            sha1.update(cert.getEncoded());
            System.out.println("   sha1    " + toHexString(sha1.digest()));
            md5.update(cert.getEncoded());
            System.out.println("   md5     " + toHexString(md5.digest()));
            System.out.println();
        }
 
        System.out
                .println("Enter certificate to add to trusted keystore or 'q' to quit: [1]");
        String line = reader.readLine().trim();
        int k;
        try {
            k = (line.length() == 0) ? 0 : Integer.parseInt(line) - 1;
        } catch (NumberFormatException e) {
            System.out.println("KeyStore not changed");
            return;
        }
 
        X509Certificate cert = chain[k];
        String alias = host + "-" + (k + 1);
        ks.setCertificateEntry(alias, cert);
 
        OutputStream out = new FileOutputStream("jssecacerts");
        ks.store(out, passphrase);
        out.close();
 
        System.out.println();
        System.out.println(cert);
        System.out.println();
        System.out
                .println("Added certificate to keystore 'jssecacerts' using alias '"
                        + alias + "'");
    }
 
    private static final char[] HEXDIGITS = "0123456789abcdef".toCharArray();
 
    private static String toHexString(byte[] bytes) {
        StringBuilder sb = new StringBuilder(bytes.length * 3);
        for (int b : bytes) {
            b &= 0xff;
            sb.append(HEXDIGITS[b >> 4]);
            sb.append(HEXDIGITS[b & 15]);
            sb.append(' ');
        }
        return sb.toString();
    }
 
    private static class SavingTrustManager implements X509TrustManager {
 
        private final X509TrustManager tm;
        private X509Certificate[] chain;
 
        SavingTrustManager(X509TrustManager tm) {
            this.tm = tm;
        }
 
        public X509Certificate[] getAcceptedIssuers() {
            throw new UnsupportedOperationException();
        }
 
        public void checkClientTrusted(X509Certificate[] chain, String authType)
                throws CertificateException {
            throw new UnsupportedOperationException();
        }
 
        public void checkServerTrusted(X509Certificate[] chain, String authType)
                throws CertificateException {
            this.chain = chain;
            tm.checkServerTrusted(chain, authType);
        }
    }
 
}

-1.vi InstallCert.java，把上面的java代碼複製進去保存

-2.javac InstallCert .java 編譯生成class文件

-3.執行class文件

我的報錯是在下載相關jar包的時候出問題的，如圖：

 

所以我猜應該是訪問這個url：repository.mapr.com出現安全問題的，因此執行：

java InstallCert repository.mapr.com

-4.接着輸入1，回車，就會在當前目錄下生成一個jssecacerts

-5.最後將jssecacerts證書文件拷貝到$JAVA_HOME/jre/lib/security目錄下，就ok了

-6.然後重新執行編譯命令

可以嘗試：mvn clean install -DskipTests -Dhadoop.version=2.6.0 -rf :flink-mapr-fs，跳過前面的階段，直接從flink-mapr-fs這個地方往後開始編譯

 

6、命令執行完，就會編譯成功

可以將那個flink-1.7-SNAPSHOT-bin打包，放到其他服務器上去作爲客戶端，後面的就是flink的使用知識了，本篇文章就不多說了！

 

好了菜雞一隻，這個編譯也是費了我老大的力氣！！希望對各位的學習有幫助，如果各位在編譯中有遇到本文中沒有提過的問題，歡迎大家留言討論，謝謝~