flink不同環境動態傳參

在實際生產中一般都有多個環境，比如開發環境，測試環境，生產環境等等。

不同的環境機器不同，一些組件的配置也不同，因此一個flink作業在不同的環境運行時需要指定對應的參數。

本文以動態配置不同環境的apollo.meta爲例，介紹在web ui以及flink shell兩種方式提交作業時如何動態指定參數。

job

public static void main(String[] args) throws Exception {


        StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> streamSource = environment.fromElements("hello world");

        //獲取傳入的參數
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        //註冊給環境變量
        environment.getConfig().setGlobalJobParameters(parameterTool);
        //獲取註冊的配置
        ExecutionConfig.GlobalJobParameters parameters = environment.getConfig().getGlobalJobParameters();

        Map<String, String> map = parameters.toMap();
        //獲取apollo.meta，並註冊給系統變量
        String apollo = map.get("apollo");
        System.setProperty("apollo.meta", apollo);
        //apollo客戶端就可以獲取apollo中的配置了
        Config apolloConfig = ConfigService.getConfig("namespace");
        String key = apolloConfig.getProperty("key", "default value");


        streamSource.print();
        environment.execute("param job");

    }

web UI 傳參

shell 傳參

$ flink run -c test.GloableParamTest -p 1 /var/asn/flink/data/jars/flink-1.0-SNAPSHOT.jar --apollo http://ip:port