mysql快速导出导入百万以内条数据

SQLyog

开发中我们一般有一个测试数据库,一个正式数据库,测试的时候我们需要把正式的数据拉到测试上来测试,

我一开始是把表中的数据导成sql,然后在sqlyog中执行此sql脚本,报错 “内存不足,应用程序将关闭!”

我只好用命令行来导入此sql脚本

mysql -h  39.98.43.224  -P 3306 -uroot -pjf2019BZ
use tsa;
source d:\mydb1.sql;

3万条数据大概执行了半个小时,
他是每插入一行数据就会在控制台上打印 已插入一条数据

很慢

然后就了解到cvs格式,发现用cvs格式的数据导入就2秒钟

csv介绍

csv文件是什么? 
csv是最通用的一种文件格式,它可以非常容易地被导入各种PC表格及数据库中。
此文件,一行即为数据表的一行。
生成数据表字段用半角逗号隔开。
csv文件用记事本和excel都能打开,用记事本打开显示逗号,用excel打开,没有逗号了,逗号都用来分列了,还可有Editplus打开。

小编之前在打开一个csv格式文件的时候,由于看那个图标和Excel的文件图标相似,就直接用Excel打开了,结果发觉其中很多的CRC值都发生错误。这个惨痛教训告诉我,虽然csv格式文件可以用Excel来打开,但是由于计算机档案数据转换的原因,会将其CRC之数值改做科学记号方式储存,而造成档案中的 CRC值发生错误。
所以,如果想要查看真实的csv数据,最好使用专用的软件来查看,或者将其转化成Excel的专用格式再使用Excel来打开。

浅谈“CSV”格式文件 
“CSV”是逗号分隔文件 (Comma Separated Values) 的首字母英文缩写,是一种用来存储数据的纯文本格式,通常用于电子表格或数据库软件。这种文件格式经常用来作为不同程序之间的数据交互。在 CSV 文件中,数据“栏”以逗号分隔,可允许程序通过读取文件为数据重新创建正确的栏结构,并在每次遇到逗号时开始新的一栏。  
CSV其实就是COMMA SEPARATED VALUE的缩写,出现在档案总管中的档案类型是「逗号分格」,依计算机原来的设定,如果直接点选该档案,计算机将以EXCEL的模式开启该档案。但建议您千万不要这么做,因为CSV档如果以EXCEL开启,由于计算机档案数据转换的原因,会将其CRC之数值改做科学记数法方式储存,而造成档案中的CRC值发生错误。如果想一窥CSV档的真实面貌,笔者建议您使用WORDPAD(写字板)或是NOTE(记事本)来开启。也可以先另存为新的EXCEL文档后,再打开EXCEL文档。也是方法之一。开启后的CSV档包含了若干个字段(部分)。 
创建CSV文件有许多方法。最常用的方法是用电子表格程序,如Microsoft Excel。在Microsoft Excel中,选择“文件”>“另存为”,然后在“文件类型”下拉选择框中选择“CSV(逗号分隔)(*.csv)”。 
CSV格式(即文件后缀为.csv,属于用excel软件可编辑的逗号分隔的一种文件格式),用记事本就能打开。 
XLS文件就是Microsoft excel电子表格的文件格式,是二进制的文件只有用EXCEL才能打。

https://wenku.baidu.com/view/c937a5a4284ac850ad0242f0.html
在这里插入图片描述

导出csv格式数据

在这里插入图片描述

在这里插入图片描述

导入csvg格式数据在这里插入图片描述

在这里插入图片描述

Navicat Premium

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
注意同步的时候 他是先删掉目标库的表,然后重建 再传输数据

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章