百萬行超大csv如何快速導入mysql

場景:本地將一個幾百萬數據的csv文件導入測試機房mysql(暫無權限登錄機器),直接使用mysql workbench導入功能特別慢

1、首先通過mysql命令行工具執行LOAD DATA LOCAL INFILE導入到一個本地開發環境的mysql庫;
命令行登錄mysql(由於使用導入文件,所以需要加參數--local-infile=1)

mysql --local-infile=1 -h 127.0.0.1 -P 3306 -u root -p

導入命令

LOAD DATA LOCAL INFILE '~/11-1.csv'
INTO TABLE t_my_table_name
FIELDS TERMINATED BY ','
IGNORE 1 LINES
(field1,field2,field3,field4,field5,field6)
;

執行效果:(命令行工具果然快,之前的導入方式都是按小時計算的)

mysql> LOAD DATA LOCAL INFILE '~/11-1.csv'
    -> INTO TABLE t_my_table_name
    -> FIELDS TERMINATED BY ','
    -> IGNORE 1 LINES
    -> (field1,field2,field3,field4,field5,field6)
    -> ;
Query OK, 748679 rows affected (9.39 sec)
Records: 748679  Deleted: 0  Skipped: 0  Warnings: 0

mysql官方參考文檔:https://dev.mysql.com/doc/refman/5.7/en/load-data.html

2、通過mysql workbench的Migration Wizard工具導入在測試機房的mysql服務器;

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章