我們常常導入數據!mysql有一個高效導入方法,那就是load data infile 下面來看案例說明
基本語法:
load data [low_priority] [local] infile'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
load datainfile語句從一個文本文件中以很高的速度讀入一個表中。使用這個命令之前,mysqld進程(服務)必須已經在運行。爲了安全原因,當讀取位於服務器上的文本文件時,文件必須處於數據庫目錄或可被所有人讀取。另外,爲了對服務器上文件使用load data infile,在服務器主機上你必須有file的權限。
1 如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入數據。可以使用如下的命令:
load data low_priority infile "/home/mark/data sql" intotable Orders;
2 如果指定local關鍵詞,則表明從客戶主機讀文件。如果local沒指定,文件必須位於服務器上。
3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace,新行將代替有相同的唯一鍵值的現有行。如果你指定ignore,跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文本文件的餘下部分被忽略。例如:
load data low_priority infile "/home/mark/data sql" replace into table Orders;
4 分隔符
(1) fields關鍵字指定了文件記段的分割格式,如果用到這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項:
terminatedby分隔符:意思是以什麼字符作爲分隔符
enclosed by字段括起字符
escaped by轉義字符
terminated by描述字段的分隔符,默認情況下是tab字符(\t)
enclosed by描述的是字段的括起字符。
escaped by描述的轉義字符。默認的是反斜槓(backslash:\)
例如:load data infile "/home/mark/Orders txt"replace into table Orders fields terminated by',' enclosed by '"';
(2)lines 關鍵字指定了每條記錄的分隔符默認爲'\n'即爲換行符
如果兩個字段都指定了那fields必須在lines之前。如果不指定fields關鍵字缺省值與如果你這樣寫的相同: fields terminated by'\t'enclosed by ’ '' ‘ escaped by'\\'
如果你不指定一個lines子句,缺省值與如果你這樣寫的相同: lines terminated by'\n'
例如:load data infile "/jiaoben/load.txt" replace into tabletest fields terminated by ',' lines terminated by '/n';
5 load data infile 可以按指定的列把文件導入到數據庫中。 當我們要把數據的一部分內容導入的時候,,需要加入一些欄目(列/字段/field)到MySQL數據庫中,以適應一些額外的需要。比方說,我們要從Access數據庫升級到MySQL數據庫的時候
下面的例子顯示瞭如何向指定的欄目(field)中導入數據:
load data infile "/home/Order txt" into tableOrders(Order_Number, Order_Date, Customer_ID);
6 當在服務器主機上尋找文件時,服務器使用下列規則:
(1)如果給出一個絕對路徑名,服務器使用該路徑名。
(2)如果給出一個有一個或多個前置部件的相對路徑名,服務器相對服務器的數據目錄搜索文件。
(3)如果給出一個沒有前置部件的一個文件名,服務器在當前數據庫的數據庫目錄尋找文件。
例如: /myfile txt”給出的文件是從服務器的數據目錄讀取,而作爲“myfile txt”給出的一個文件是從當前數據庫的數據庫目錄下讀取。
注意:字段中的空值用\N表示
我的文章一般淺顯易懂,不會搞那麼深入讓大家很難理解。(其實我水平也不咋樣)
LOAD DATA INFILE 一直被認爲是MySQL很強大的一個數據導入工具,因爲他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活導入導出。
我來舉兩個例子說明一下。
一、關於編碼
我們的示例文本文件:
"我愛你","20","相貌平常,經常耍流氓!哈哈"
"李奎","21","相貌平常,經常耍流氓!哈哈"
"王二米","20","相貌平常,經常耍流氓!哈哈"
"老三","24","很強"
"老四","34","XXXXX"
"老五","52","***%*¥*¥*¥*¥"
"小貓","45","中間省略。。。"
"小狗","12","就會叫"
"小妹","21","PP的很"
"小壞蛋","52","表裏不一"
"上帝他爺","96","非常英俊"
"MM來了","10","。。。"
"歌頌黨","20","社會主義好"
"人民好","20","的確是好"
"老高","10","學習很好"
"斜三","60","眼睛斜了"
"中華之子","100","威武的不行了"
"大米","63","我愛吃"
"蘋果","15","好吃"
我們的示例表結構:
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | CreateTable |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0 | CREATE TABLE `t0` (
`id` bigint(20) unsigned NOT NULL auto_increment,
`name` char(20) NOT NULL,
`age` tinyint(3) unsigned NOT NULL,
`description` text NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
我們把這個文本文件從WINDOWS 下COPY到LINUX下看看
mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbkfields terminated by ',' enclosed by '"' lines terminated by '\n'(`name`,`age`,`description`);
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql>select * from t0;
+----+----------+-----+----------------------------+
| id | name | age |description |
+----+----------+-----+----------------------------+
| 1 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 2 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 |
| 3 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 4 | 老三 | 24 | 很強 |
| 5 | 老四 | 34 |XXXXX |
| 6 | 老五 | 52 | ***%*¥*¥*¥*¥ |
| 7 | 小貓 | 45 | 中間省略。。。 |
| 8 | 小狗 | 12 | 就會叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小壞蛋 | 52 | 表裏不一 |
| 11 | 上帝他爺 | 96 |非常英俊 |
| 12 | MM來了 | 10 | 。。。 |
| 13 | 歌頌黨 | 20 | 社會主義好 |
| 14 | 人民好 | 20 | 的確是好 |
| 15 | 老高 | 10 | 學習很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中華之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我愛吃 |
| 19 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)
我來說明一下相關的參數
關於我的導入語句,我現在直說兩個,其他的參考手冊。
characterset gbk;
這個字符集一定要寫,要不然就會亂碼或者只導入一部分數據。
ignore into table
因爲name 列加了唯一索引,加這個是爲了避免重複數據插入報錯。
加入我們再次運行這個導入語句就會發現
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
沒有任何值導入,因爲裏面已經有了相同的值。
這裏也可以用replaceinto table
MySQL會把相同的先幹掉,再插入新的值。
mysql>load data infile '/tmp/t0.txt' replace into table t0 character set gbk fieldsterminated by ',' enclosed by '"' lines terminated by '\n'(`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0
mysql>select * from t0;
+----+----------+-----+----------------------------+
| id | name | age |description |
+----+----------+-----+----------------------------+
| 20 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 21 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 |
| 22 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 23 | 老三 | 24 | 很強 |
| 24 | 老四 | 34 |XXXXX |
| 25 | 老五 | 52 | ***%*¥*¥*¥*¥ |
| 26 | 小貓 | 45 | 中間省略。。。 |
| 27 | 小狗 | 12 | 就會叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小壞蛋 | 52 | 表裏不一 |
| 30 | 上帝他爺 | 96 |非常英俊 |
| 31 | MM來了 | 10 | 。。。 |
| 32 | 歌頌黨 | 20 | 社會主義好 |
| 33 | 人民好 | 20 | 的確是好 |
| 34 | 老高 | 10 | 學習很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中華之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我愛吃 |
| 38 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)
(`name`,`age`,`description`);
這些也就是具體的表屬性了,指明這個就可以導入想要的數據。
2、關於靈活性,其實也就是一個記錄功能
如果想在導入的時候記錄一下導入的具體時間怎麼辦?
我們來看看
先加一個時間屬性記錄導入時間。
mysql>alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
幹掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fieldsterminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`)set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql>select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age |description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 |XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | ***%*¥*¥*¥*¥ |0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中華之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爺 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)
新導入的19條記錄時間被記錄了下來。
只是之前的數據庫沒有記錄,不過現在不需要這些重複數據了。
幹掉他就可以了
mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0
mysql>alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0
mysql>alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql>select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age |description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很強 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 |XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | ***%*¥*¥*¥*¥ |2008-06-30 14:58:37 |
| 64 | 小貓 | 45 | 中間省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就會叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小壞蛋 | 52 | 表裏不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爺 | 96 |非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌頌黨 | 20 | 社會主義好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的確是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 學習很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中華之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)
現在是達到了目的了,爲啥中途要幹掉唯一索引呢?因爲set 語法 再有IGNORE 的時候會忽略掉。