決戰數據庫-spring batch(4)數據庫到數據庫

決戰數據庫-spring batch(4)數據庫到數據庫

tags：springbatch

---

1.引言

上一篇文章《快速使用組件-spring batch(3)讀文件數據到數據庫》對Spring Batch的讀、處理、寫組件進行了介紹，並且以實際案例使用了FlatFileItemReader讀文本文件，並把每行數據映射爲實體，然後使用JdbcBatchItemWriter把實體對象數據存儲到MySQL中。但在數據集成的實際應用中，更多的工作是從A數據庫到B數據庫，數據庫之間是異構的，數據與數據的字段定義是不盡相同的，因此，在數據同步、數據抽取時，需要從源數據庫讀取數據，經過校驗、轉換，過濾、清洗，然後把數據再寫到目標數據庫。本文將在上一篇的基礎上，實現數據庫到數據庫的數據同步。簡單來說，只需要把從文件讀數據改爲從數據庫讀即可。可下載完整示例工程代碼參考

2.開發環境

• JDK: jdk1.8
• Spring Boot: 2.1.4.RELEASE
• Spring Batch:4.1.2.RELEASE
• 開發IDE: IDEA
• 構建工具Maven: 3.3.9
• 日誌組件logback:1.2.3
• lombok:1.18.6

3.開發流程

上一篇文章中，已經把User數據存儲在mytest數據庫中，本文將以mytest數據庫中的test_user表爲源數據，使用Spring Batch把數據同步到目標數據庫my_test1，實現MySQL到MySQL的同步。注，若是不同的數據庫，在配置多數據源時可更改數據庫驅動和連接信息即可。關鍵代碼如下所示：

3.1 創建目標數據庫

在MySQL中創建my_test1數據庫作爲目標數據庫，執行示例工程中的sql/my_test1.sql創建用戶表，爲簡單起見，目標數據表與源數據表數據表結構一樣。創建後如下：

3.2 配置多數據源

至此，我們的程序涉及三個數據庫，分別是：

• 用於Spring Batch數據存儲的my_spring_batch爲
• 源數據庫mytest
• 目標數據庫my_test1

因此，需要先配置多數據源，配置方法跟之前一樣，配置properties文件的數據庫連接信息和使用註解進行配置即可。如下：

application.properties

# spring batch db
spring.datasource.jdbc-url=jdbc:mysql://localhost:3310/my_spring_batch?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf8&useSSL=false
spring.datasource.username=root
spring.datasource.password=111111
# origin db
spring.origin-datasource.jdbc-url=jdbc:mysql://localhost:3310/mytest?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf8&useSSL=false
spring.origin-datasource.username=root
spring.origin-datasource.password=111111
# target db
spring.target-datasource.jdbc-url=jdbc:mysql://localhost:3310/my_test1?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf8&useSSL=false
spring.target-datasource.username=root
spring.target-datasource.password=111111

然後使用註解注入多數據源，如下：

DataSourceConfig.java

@Bean("datasource")
@ConfigurationProperties(prefix="spring.datasource")
@Primary
public DataSource batchDatasource() {
    return DataSourceBuilder.create().build();
}

@Bean("originDatasource")
@ConfigurationProperties(prefix="spring.origin-datasource")
public DataSource originDatasource() {
    return DataSourceBuilder.create().build();
}

@Bean("targetDatasource")
@ConfigurationProperties(prefix="spring.target-datasource")
public DataSource targetDatasource() {
    return DataSourceBuilder.create().build();
}

3.3 添加讀數據組件JdbcCursorItemReader

從數據庫中讀取數據，Spring Batch提供了組件JdbcCursorItemReader，通過它，可以把數據庫的數據讀取出來，然後映射爲實體User，以供後續開發。創建方法如下：

@Bean
public ItemReader db2DbItemReader(@Qualifier("originDatasource") DataSource originDatasource) {
    String readSql = " select * from test_user";
    return new JdbcCursorItemReaderBuilder<User>()
            .dataSource(originDatasource).sql(readSql)
            .verifyCursorPosition(false).rowMapper(new UserRowMapper())
            .build();
}

說明：

• 使用@Qualifier("originDatasource")標識源數據庫
• JdbcCursorItemReaderBuilder用於構建JdbcCursorItemReader
• 讀數據的sql語句根據實際情況編寫即可，此處是讀取整個表數據。
• 需要把數據庫映射爲實體User，使用UserRowMapper，此mapper實現RowMapper接口，把從數據庫讀取的ResultSet映射爲User的字段。

3.4 自定義處理組件Db2DbItemProcessor

讀取到數據後，當前的處理是針對title字段，不爲null的則轉爲大寫即可。如下：

if(Objects.nonNull(title)){
    user.setTitle(title.toUpperCase());
}

3.5 添加寫數據組件JdbcBatchItemWriter

寫入數據，同樣使用JdbcBatchItemWriter組合，編寫插入sql語句，把實體User數據插入到數據庫即可，如下：

@Bean
public ItemWriter db2DbWriter(@Qualifier("targetDatasource") DataSource targetDatasource) {
    String inserSql ="INSERT INTO test_user(id,name,phone,title,email,gender,date_of_birth,sys_create_time,sys_create_user,sys_update_time,sys_update_user) " +
            "VALUES (:id,:name,:phone,:title,:email,:gender,:dateOfBirth,:sysCreateTime,:sysCreateUser,:sysUpdateTime,:sysUpdateUser)";
    return new JdbcBatchItemWriterBuilder<User>()
            .itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>())
            .sql(inserSql)
            .dataSource(targetDatasource)
            .build();
}

說明：

• 使用JdbcBatchItemWriterBuilder進行JdbcBatchItemWriter的創建，設置插入數據庫的sql語句，同時指定數據源即可。
• @Qualifier("targetDatasource") DataSource datasource用於指定數據源
• 使用BeanPropertyItemSqlParameterSourceProvider可以直接把讀取的數據實體的屬性數據作爲參數填充到sql語句中，從而實現數據插入操作。

3.6 組裝完整任務

經過上面的操作，可以使用一個java配置，把讀、寫、處理組裝成完整的step和job，如下所示（詳細可見示例工程文件）：

@Bean
public Job db2DbJob(Step db2DbStep,JobExecutionListener db2DbListener){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return jobBuilderFactory.get(funcName)
            .listener(db2DbListener)
            .flow(db2DbStep)
            .end().build();
}
@Bean
public Step db2DbStep(ItemReader db2DbItemReader ,ItemProcessor db2DbProcessor
        ,ItemWriter db2DbWriter){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return stepBuilderFactory.get(funcName)
            .<User,User>chunk(10)
            .reader(db2DbItemReader)
            .processor(db2DbProcessor)
            .writer(db2DbWriter)
            .build();
}

3.7 測試

參考上一文章的File2DbJobTest，編寫Db2DbJobTest文件即可。如下：

@Test
public void testDb2DbJob() throws JobParametersInvalidException, JobExecutionAlreadyRunningException, JobRestartException, JobInstanceAlreadyCompleteException {
    //構建job參數
    JobParameters jobParameters = JobUtil.makeJobParameters();
    //運行job
    Map<String, Object> stringObjectMap = jobLauncherService.startJob(db2DbJob, jobParameters);
    //測試結果
    Assert.assertEquals(ExitStatus.COMPLETED,stringObjectMap.get(SyncConstants.STR_RETURN_EXITSTATUS));
}

經過此測試，可查看到源數據庫mytest中的test_user表中的數據，已全部同步到目標庫my_test1中的test_user中。完成數據庫到數據庫的數據同步。

4.總結

本文通過簡單的示例，從源數據庫中讀取表數據，經過處理，寫入到目標數據庫，具體一定的通用性。希望讓大家更深入的瞭解Spring Batch，並能用到實踐中。