Flink實戰教程-自定義函數之TableFunction

今天我們來聊聊flink sql中另外一種自定義函數-TableFuntion.
TableFuntion 可以有0個、一個、多個輸入參數，他的返回值可以是任意行，每行可以有多列數據.

實現自定義TableFunction需要繼承TableFunction類，然後定義一個public類型的eval方法。結合官網的例子具體來講解一下。

自定義函數

單個eval方法

   public static class Split extends TableFunction<Tuple2<String,Integer>> {
        private String separator = ",";

        public Split(String separator) {
            this.separator = separator;
        }

        public void eval(String str) {
            for (String s : str.split(separator)) {
                collect(new Tuple2<String,Integer>(s, s.length()));
            }
        }
    }

來解釋一下：

1. 這個函數接收一個字符串類型的入參,將傳進來的字符串用指定分隔符拆分，然後返回值是一組Tuple2，每個Tuple2包含單詞以及其長度.
2. TableFunction是一個泛型類，需要指定返回值類型
3. 不同於標量函數，eval方法沒有返回值，使用collect方法來收集對象。

多個eval方法

	/**
	 * 註冊多個eval方法，接收long或者string類型的參數，然後將他們轉成string類型
	 */
	public static class DuplicatorFunction extends TableFunction<String>{
		public void eval(Long i){
			eval(String.valueOf(i));
		}

		public void eval(String s){
			collect(s);
		}
	}

不固定參數

	/**
	 * 接收不固定個數的int型參數,然後將所有數據依次返回
	 */
	public static class FlattenFunction extends TableFunction<Integer>{
		public void eval(Integer... args){
			for (Integer i: args){
				collect(i);
			}
		}
	}

通過註解指定返回類型

	/**
	 * 通過註冊指定返回值類型，flink 1.11 版本開始支持
	 */
    @FunctionHint(output = @DataTypeHint("ROW< i INT, s STRING >"))
    class DuplicatorFunction extends TableFunction<Row> {
      public void eval(Integer i, String s) {
        collect(Row.of(i, s));
        collect(Row.of(i, s));
      }
    }

註冊函數

這裏使用blink的planner，然後把上述三個函數都註冊了

		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		EnvironmentSettings bsSettings = EnvironmentSettings.newInstance()
		                                                    .useBlinkPlanner()
		                                                    .inStreamingMode()
		                                                    .build();
		StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings);

		tEnv.registerFunction("split", new Split(" "));
		tEnv.registerFunction("duplicator", new DuplicatorFunction());
		tEnv.registerFunction("flatten", new FlattenFunction());

構造數據源

        List<Tuple2<Long,String>> ordersData = new ArrayList<>();
        ordersData.add(Tuple2.of(2L, "Euro"));
        ordersData.add(Tuple2.of(1L, "US Dollar"));
        ordersData.add(Tuple2.of(50L, "Yen"));
        ordersData.add(Tuple2.of(3L, "Euro"));

        DataStream<Tuple2<Long,String>> ordersDataStream = env.fromCollection(ordersData);
        Table orders = tEnv.fromDataStream(ordersDataStream, "amount, currency, proctime.proctime");
        tEnv.registerTable("Orders", orders);

查詢

left join

	Table result = tEnv.sqlQuery(
				"SELECT o.currency, T.word, T.length FROM Orders as o LEFT JOIN LATERAL TABLE(split(currency)) as T(word, length) ON TRUE");
		tEnv.toAppendStream(result, Row.class).print();

解釋一下：

• 有兩種使用方式， 使用 join的時候用LATERAL TABLE ，使用left join的時候用LATERAL TABLE … ON TRUE.
• 給TableFuntion返回的數據起一個別名：T(word, length)，其中T是表的別名，word和length是字段別名,所以我們可以在sql中通過o.currency, T.word, T.length來查詢字段。

join

	String sql = "SELECT o.currency, T.word, T.length FROM Orders as o ," +
		             " LATERAL TABLE(split(currency)) as T(word, length)";

多種類型參數

		String sql2 = "SELECT * FROM Orders as o , " +
		              "LATERAL TABLE(duplicator(amount))," +
		              "LATERAL TABLE(duplicator(currency))";

不固定參數類型

	String sql3 = "SELECT * FROM Orders as o , " +
		              "LATERAL TABLE(flatten(100,200,300))";

今天這個TableFuntion我們就先講到這裏，後續我們通過自定義的TableFuntion來實現一個mysql維表和hbase維表功能，用來在流式數據中補全字段信息.
完整代碼請參考：

https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink/src/main/java/sql/function/CustomTableFunction.java

更多精彩內容，歡迎關注我的公衆號【大數據技術與應用實戰】！