mysql快速導出導入百萬以內條數據

SQLyog

開發中我們一般有一個測試數據庫,一個正式數據庫,測試的時候我們需要把正式的數據拉到測試上來測試,

我一開始是把表中的數據導成sql,然後在sqlyog中執行此sql腳本,報錯 “內存不足,應用程序將關閉!”

我只好用命令行來導入此sql腳本

mysql -h  39.98.43.224  -P 3306 -uroot -pjf2019BZ
use tsa;
source d:\mydb1.sql;

3萬條數據大概執行了半個小時,
他是每插入一行數據就會在控制檯上打印 已插入一條數據

很慢

然後就瞭解到cvs格式,發現用cvs格式的數據導入就2秒鐘

csv介紹

csv文件是什麼? 
csv是最通用的一種文件格式,它可以非常容易地被導入各種PC表格及數據庫中。
此文件,一行即爲數據表的一行。
生成數據表字段用半角逗號隔開。
csv文件用記事本和excel都能打開,用記事本打開顯示逗號,用excel打開,沒有逗號了,逗號都用來分列了,還可有Editplus打開。

小編之前在打開一個csv格式文件的時候,由於看那個圖標和Excel的文件圖標相似,就直接用Excel打開了,結果發覺其中很多的CRC值都發生錯誤。這個慘痛教訓告訴我,雖然csv格式文件可以用Excel來打開,但是由於計算機檔案數據轉換的原因,會將其CRC之數值改做科學記號方式儲存,而造成檔案中的 CRC值發生錯誤。
所以,如果想要查看真實的csv數據,最好使用專用的軟件來查看,或者將其轉化成Excel的專用格式再使用Excel來打開。

淺談“CSV”格式文件 
“CSV”是逗號分隔文件 (Comma Separated Values) 的首字母英文縮寫,是一種用來存儲數據的純文本格式,通常用於電子表格或數據庫軟件。這種文件格式經常用來作爲不同程序之間的數據交互。在 CSV 文件中,數據“欄”以逗號分隔,可允許程序通過讀取文件爲數據重新創建正確的欄結構,並在每次遇到逗號時開始新的一欄。  
CSV其實就是COMMA SEPARATED VALUE的縮寫,出現在檔案總管中的檔案類型是「逗號分格」,依計算機原來的設定,如果直接點選該檔案,計算機將以EXCEL的模式開啓該檔案。但建議您千萬不要這麼做,因爲CSV檔如果以EXCEL開啓,由於計算機檔案數據轉換的原因,會將其CRC之數值改做科學記數法方式儲存,而造成檔案中的CRC值發生錯誤。如果想一窺CSV檔的真實面貌,筆者建議您使用WORDPAD(寫字板)或是NOTE(記事本)來開啓。也可以先另存爲新的EXCEL文檔後,再打開EXCEL文檔。也是方法之一。開啓後的CSV檔包含了若干個字段(部分)。 
創建CSV文件有許多方法。最常用的方法是用電子表格程序,如Microsoft Excel。在Microsoft Excel中,選擇“文件”>“另存爲”,然後在“文件類型”下拉選擇框中選擇“CSV(逗號分隔)(*.csv)”。 
CSV格式(即文件後綴爲.csv,屬於用excel軟件可編輯的逗號分隔的一種文件格式),用記事本就能打開。 
XLS文件就是Microsoft excel電子表格的文件格式,是二進制的文件只有用EXCEL才能打。

https://wenku.baidu.com/view/c937a5a4284ac850ad0242f0.html
在這裏插入圖片描述

導出csv格式數據

在這裏插入圖片描述

在這裏插入圖片描述

導入csvg格式數據在這裏插入圖片描述

在這裏插入圖片描述

Navicat Premium

在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
注意同步的時候 他是先刪掉目標庫的表,然後重建 再傳輸數據

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章