前面的文章咱們講了 MyBatis 批量插入的 3 種方法:循環單次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入,詳情請點擊《MyBatis 批量插入數據的 3 種方法!》。
但之前的文章也有不完美之處,原因在於:使用 「循環單次插入」的性能太低,使用「MyBatis Plus 批量插入」性能還行,但要額外的引入 MyBatis Plus 框架,使用「MyBatis 原生批量插入」性能最好,但在插入大量數據時會導致程序報錯,那麼,今天咱們就會提供一個更優的解決方案。
原生批量插入的“坑”
首先,我們來看一下 MyBatis 原生批量插入中的坑,當我們批量插入 10 萬條數據時,實現代碼如下:
import com.example.demo.model.User;
import com.example.demo.service.impl.UserServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import java.util.ArrayList;
import java.util.List;
@SpringBootTest
class UserControllerTest {
// 最大循環次數
private static final int MAXCOUNT = 100000;
@Autowired
private UserServiceImpl userService;
/**
* 原生自己拼接 SQL,批量插入
*/
@Test
void saveBatchByNative() {
long stime = System.currentTimeMillis(); // 統計開始時間
List<User> list = new ArrayList<>();
for (int i = 0; i < MAXCOUNT; i++) {
User user = new User();
user.setName("test:" + i);
user.setPassword("123456");
list.add(user);
}
// 批量插入
userService.saveBatchByNative(list);
long etime = System.currentTimeMillis(); // 統計結束時間
System.out.println("執行時間:" + (etime - stime));
}
}
核心文件 UserMapper.xml 中的實現代碼如下:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.mapper.UserMapper">
<insert id="saveBatchByNative">
INSERT INTO `USER`(`NAME`,`PASSWORD`) VALUES
<foreach collection="list" separator="," item="item">
(#{item.name},#{item.password})
</foreach>
</insert>
</mapper>
當我們開心地運行以上程序時,就出現了以下的一幕:
沃,程序竟然報錯了!
這是因爲使用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M,而默認情況下 MySQL 可以執行的最大 SQL 爲 4M,那麼在程序執行時就會報錯了。
解決方案
以上的問題就是因爲批量插入時拼接的 SQL 文件太大了,所以導致 MySQL 的執行報錯了。那麼我們第一時間想到的解決方案就是將大文件分成 N 個小文件,這樣就不會因爲 SQL 太大而導致執行報錯了。也就是說,我們可以將待插入的 List 集合分隔爲多個小 List 來執行批量插入的操作,而這個操作過程就叫做 List 分片。
有了處理思路之後,接下來就是實踐了,那如何對集合進行分片操作呢?
分片操作的實現方式有很多種,這個我們後文再講,接下來我們使用最簡單的方式,也就是 Google 提供的 Guava 框架來實現分片的功能。
分片 Demo 實戰
要實現分片功能,第一步我們先要添加 Guava 框架的支持,在 pom.xml 中添加以下引用:
<!-- google guava 工具類 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>31.0.1-jre</version>
</dependency>
接下來我們寫一個小小的 demo,將以下 7 個人名分爲 3 組(每組最多 3 個),實現代碼如下:
import com.google.common.collect.Lists;
import java.util.Arrays;
import java.util.List;
/**
* Guava 分片
*/
public class PartitionByGuavaExample {
// 原集合
private static final List<String> OLD_LIST = Arrays.asList(
"唐僧,悟空,八戒,沙僧,曹操,劉備,孫權".split(","));
public static void main(String[] args) {
// 集合分片
List<List<String>> newList = Lists.partition(OLD_LIST, 3);
// 打印分片集合
newList.forEach(i -> {
System.out.println("集合長度:" + i.size());
});
}
}
以上程序的執行結果如下:
從上述結果可以看出,我們只需要使用 Guava 提供的 Lists.partition 方法就可以很輕鬆的將一個集合進行分片了。
原生批量插入分片實現
那接下來,就是改造我們的 MyBatis 批量插入代碼了,具體實現如下:
@Test
void saveBatchByNativePartition() {
long stime = System.currentTimeMillis(); // 統計開始時間
List<User> list = new ArrayList<>();
// 構建插入數據
for (int i = 0; i < MAXCOUNT; i++) {
User user = new User();
user.setName("test:" + i);
user.setPassword("123456");
list.add(user);
}
// 分片批量插入
int count = (int) Math.ceil(MAXCOUNT / 1000.0); // 分爲 n 份,每份 1000 條
List<List<User>> listPartition = Lists.partition(list, count);
// 分片批量插入
for (List<User> item : listPartition) {
userService.saveBatchByNative(item);
}
long etime = System.currentTimeMillis(); // 統計結束時間
System.out.println("執行時間:" + (etime - stime));
}
執行以上程序,最終的執行結果如下:
從上圖可以看出,之前批量插入時的異常報錯不見了,並且此實現方式的執行效率竟比 MyBatis Plus 的批量插入的執行效率要高,MyBatis Plus 批量插入 10W 條數據的執行時間如下:
總結
本文我們演示了 MyBatis 原生批量插入時的問題:可能會因爲插入的數據太多從而導致運行失敗,我們可以通過分片的方式來解決此問題,分片批量插入的實現步驟如下:
- 計算出分片的數量(分爲 N 批);
- 使用 Lists.partition 方法將集合進行分片(分爲 N 個集合);
- 循環將分片的集合進行批量插入的操作。
關注公衆號「Java中文社羣」查看更多 MyBatis 和 Spring Boot 的系列文章。