mysql日常工作中批量插入效率問題

個人總結:

循環單條數據插入基本上不會用,日常工作中更多的是十幾條、幾百條數據量的批量插入問題。

 就場景來看,在後臺批量將前臺選中的多條數據批量插入這種情況比較多,一般直接在mybatis中通過foreach拼成sql後插入。

或者是Excel表格的批量導入導出,基本上也是用mybatis就能解決,如果是控制在1000條以下直接拼sql影響不大,如果sql過長需要在mysql配置文件中設置最大sql容量,很少有幾萬條Excel數據批量導入。

另外平時也經常遇到分批導入問題,如瀏覽記錄,GPS信息,實時傳感器數據等熱點數據,爲了以後的數據分析和歷史記錄查看最好也採用分批次批量插入,一般情況下幾千條數據足以,如果圖省事也是可以通過拼接sql解決的。

數據轉移情況下數據量可以是幾萬、幾十萬、百萬級,爲了加快效率,可以採用mysql自帶的功能解決。

mysql有專門用於批量導入大數據功能需要手動開啓,幾萬條數據通過jdbc的批量插入功能解決,比較方便易懂,百萬級一般是數據轉移情況,通過mysql讀取文件方式導入。

A:https://blog.csdn.net/qq_36850813/article/details/95945237

B:https://blog.csdn.net/wzygis/article/details/83688720

總之在一般公司工作時大部分情況都不會破十萬,有各種方法應對數據插入(分批,異步),不過相對插入的效率,考慮數據安全性和解決衝突也是需要注意的問題。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章