flink訪問達夢數據庫

背景

使用flink消費kafka中事件，計算規則以及維度數據保存在達夢數據庫中。

達夢數據庫

達夢數據庫管理系統是達夢公司推出的具有完全自主知識產權的高性能數據庫管理系統，簡稱DM。

安裝達夢數據庫驅動

將達夢的jdbc驅動安裝到maven local倉庫中

start cmd /k "%mvn% install:install-file -Dfile=Dm7JdbcDriver17.jar -DgroupId=com.dm -DartifactId=Dm7JdbcDriver -Dversion=1.7 -Dpackaging=jar"

引入maven依賴

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc_2.12</artifactId>
            <version>1.7.2</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>com.dm</groupId>
            <artifactId>Dm7JdbcDriver</artifactId>
            <version>1.7</version>
            <scope>compile</scope>
        </dependency>

通過jdbc進行連接

public class DmRichMapFunction<IN, OUT> extends RichFlatMapFunction<IN, OUT> {
    private static final Logger logger = LoggerFactory.getLogger(DmRichMapFunction.class);
    private static final String dmjdbcString = "dm.jdbc.driver.DmDriver";
    protected Connection connect = null;

    public void loadJdbcDriver() throws SQLException {
        try {
            System.out.println("Loading JDBC Driver...");
// 加載 JDBC 驅動程序
//DriverManager.registerDriver(new dm.jdbc.driver.DmDriver());
            Class.forName(dmjdbcString);
        } catch (ClassNotFoundException e) {
            throw new SQLException("Load JDBC Driver Error1: " + e.getMessage());
        } catch (Exception ex) {
            throw new SQLException("Load JDBC Driver Error : "
                    + ex.getMessage());
        }
    }


    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        ParameterTool parameterTool = (ParameterTool)
                getRuntimeContext().getExecutionConfig().getGlobalJobParameters();
        String user = parameterTool.get("u", "");
        String passwd = parameterTool.get("p", "");
        String address = parameterTool.get("a", "localhost:3306");
        String url = "jdbc:dm://" + address;

        logInfo("url:" + url + ",user:" + user );
        loadJdbcDriver();
        connect = DriverManager.getConnection(url, user, passwd);
    }

    @Override
    public void close() throws Exception {

        if (connect != null) {
            connect.close();
        }
        super.close();
    }


    @Override
    public void flatMap(IN value, Collector<OUT> out) throws Exception {

    }
}

過程中遇到的問題

• 默認的flink-java中是未引入jdbc的支持，需要單獨引入flink-jdbc
• 開始想通過withParameters(configuration)方法傳遞數據庫相關參數到FlatMapFunction中，後面發現該方法只在DataSet上使用而不可以在DataStream上使用。最後採用getConfig().setGlobalJobParameters方法傳遞配置參數。

environment.getConfig().setGlobalJobParameters(parameterTool);
ParameterTool parameterTool = (ParameterTool)
                getRuntimeContext().getExecutionConfig().getGlobalJobParameters();

數據分析小白入門指南