[轉]mysql導入數據load data infile用法

我們常常導入數據!mysql有一個高效導入方法,那就是load data infile 下面來看案例說明

 

基本語法:

load data  [low_priority] [local] infile'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name,   )]

load datainfile語句從一個文本文件中以很高的速度讀入一個表中。使用這個命令之前,mysqld進程(服務)必須已經在運行。爲了安全原因,當讀取位於服務器上的文本文件時,文件必須處於數據庫目錄或可被所有人讀取。另外,爲了對服務器上文件使用load data infile,在服務器主機上你必須有file的權限。

1  如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入數據。可以使用如下的命令: 
load data  low_priority infile "/home/mark/data sql" intotable Orders;

 

2  如果指定local關鍵詞,則表明從客戶主機讀文件。如果local沒指定,文件必須位於服務器上。

 

3  replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace,新行將代替有相同的唯一鍵值的現有行。如果你指定ignore,跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文本文件的餘下部分被忽略。例如:

load data  low_priority infile "/home/mark/data sql" replace into table Orders;

 

4 分隔符

(1) fields關鍵字指定了文件記段的分割格式,如果用到這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項: 
terminatedby分隔符:意思是以什麼字符作爲分隔符
enclosed by字段括起字符
escaped by轉義字符

terminated by描述字段的分隔符,默認情況下是tab字符(\t) 
enclosed by描述的是字段的括起字符。
escaped by描述的轉義字符。默認的是反斜槓(backslash:\)  

例如:load data infile "/home/mark/Orders txt"replace into table Orders fields terminated by',' enclosed by '"';

(2)lines 關鍵字指定了每條記錄的分隔符默認爲'\n'即爲換行符

如果兩個字段都指定了那fields必須在lines之前。如果不指定fields關鍵字缺省值與如果你這樣寫的相同: fields terminated by'\t'enclosed by ’ '' ‘ escaped by'\\'

如果你不指定一個lines子句,缺省值與如果你這樣寫的相同: lines terminated by'\n'

例如:load data infile "/jiaoben/load.txt" replace into tabletest fields terminated by ',' lines terminated by '/n';

5  load data infile 可以按指定的列把文件導入到數據庫中。 當我們要把數據的一部分內容導入的時候,,需要加入一些欄目(列/字段/field)到MySQL數據庫中,以適應一些額外的需要。比方說,我們要從Access數據庫升級到MySQL數據庫的時候

下面的例子顯示瞭如何向指定的欄目(field)中導入數據: 
load data infile "/home/Order txt" into tableOrders(Order_Number, Order_Date, Customer_ID);

6  當在服務器主機上尋找文件時,服務器使用下列規則: 
(1)如果給出一個絕對路徑名,服務器使用該路徑名。 
(2)如果給出一個有一個或多個前置部件的相對路徑名,服務器相對服務器的數據目錄搜索文件。  
(3)如果給出一個沒有前置部件的一個文件名,服務器在當前數據庫的數據庫目錄尋找文件。 
例如: /myfile txt”給出的文件是從服務器的數據目錄讀取,而作爲“myfile txt”給出的一個文件是從當前數據庫的數據庫目錄下讀取。

 

 

注意:字段中的空值用\N表示


我的文章一般淺顯易懂,不會搞那麼深入讓大家很難理解。(其實我水平也不咋樣)

LOAD DATA INFILE 一直被認爲是MySQL很強大的一個數據導入工具,因爲他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活導入導出。

我來舉兩個例子說明一下。
一、關於編碼
我們的示例文本文件:
"我愛你","20","相貌平常,經常耍流氓!哈哈"
"李奎","21","相貌平常,經常耍流氓!哈哈"
"王二米","20","相貌平常,經常耍流氓!哈哈"
"老三","24","很強"
"老四","34","XXXXX"
"老五","52","***%*¥*¥*¥*¥"
"小貓","45","中間省略。。。"
"小狗","12","就會叫"
"小妹","21","PP的很"
"小壞蛋","52","表裏不一"
"上帝他爺","96","非常英俊"
"MM來了","10","。。。"
"歌頌黨","20","社會主義好"
"人民好","20","的確是好"
"老高","10","學習很好"
"斜三","60","眼睛斜了"
"中華之子","100","威武的不行了"
"大米","63","我愛吃"
"蘋果","15","好吃"
我們的示例表結構:


+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | CreateTable                                                                                                                                                                                                                                                         |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0    | CREATE TABLE `t0` (
  `id` bigint(20) unsigned NOT NULL auto_increment,
  `name` char(20) NOT NULL,
  `age` tinyint(3) unsigned NOT NULL,
  `description` text NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 | 
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)


我們把這個文本文件從WINDOWS 下COPY到LINUX下看看


mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbkfields terminated by ',' enclosed by '"' lines terminated by '\n'(`name`,`age`,`description`);
Query OK, 19 rows affected (0.01 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql>select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age |description               |
+----+----------+-----+----------------------------+
|  1 | 我愛你   |  20 | 相貌平常,經常耍流氓!哈哈 | 
|  2 | 李奎     |  21 | 相貌平常,經常耍流氓!哈哈 | 
|  3 | 王二米   |  20 | 相貌平常,經常耍流氓!哈哈 | 
|  4 | 老三     |  24 | 很強                      | 
|  5 | 老四     |  34 |XXXXX                     | 
|  6 | 老五     |  52 | ***%*¥*¥*¥*¥           | 
|  7 | 小貓     |  45 | 中間省略。。。            | 
|  8 | 小狗     |  12 | 就會叫                    | 
|  9 | 小妹     |  21 | PP的很                    | 
| 10 | 小壞蛋   |  52 | 表裏不一                  | 
| 11 | 上帝他爺 |  96 |非常英俊                  | 
| 12 | MM來了   |  10 | 。。。                    | 
| 13 | 歌頌黨  |  20 | 社會主義好                | 
| 14 | 人民好   |  20 | 的確是好                  | 
| 15 | 老高     |  10 | 學習很好                  | 
| 16 | 斜三     |  60 | 眼睛斜了                  | 
| 17 | 中華之子 | 100 | 威武的不行了              | 
| 18 | 大米     |  63 | 我愛吃                    | 
| 19 | 蘋果     |  15 | 好吃                      | 
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)

我來說明一下相關的參數
關於我的導入語句,我現在直說兩個,其他的參考手冊。
characterset gbk;

這個字符集一定要寫,要不然就會亂碼或者只導入一部分數據。


ignore into table 


因爲name 列加了唯一索引,加這個是爲了避免重複數據插入報錯。

加入我們再次運行這個導入語句就會發現
Query OK, 0 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 19  Warnings: 0
沒有任何值導入,因爲裏面已經有了相同的值。

這裏也可以用replaceinto table
MySQL會把相同的先幹掉,再插入新的值。
mysql>load data infile '/tmp/t0.txt' replace into table t0 character set gbk fieldsterminated by ',' enclosed by '"' lines terminated by '\n'(`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19  Deleted: 19  Skipped: 0  Warnings: 0

mysql>select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age |description               |
+----+----------+-----+----------------------------+
| 20 | 我愛你   |  20 | 相貌平常,經常耍流氓!哈哈 | 
| 21 | 李奎     |  21 | 相貌平常,經常耍流氓!哈哈 | 
| 22 | 王二米   |  20 | 相貌平常,經常耍流氓!哈哈 | 
| 23 | 老三     |  24 | 很強                      | 
| 24 | 老四     |  34 |XXXXX                     | 
| 25 | 老五     |  52 | ***%*¥*¥*¥*¥           | 
| 26 | 小貓     |  45 | 中間省略。。。            | 
| 27 | 小狗     |  12 | 就會叫                    | 
| 28 | 小妹     |  21 | PP的很                    | 
| 29 | 小壞蛋   |  52 | 表裏不一                  | 
| 30 | 上帝他爺 |  96 |非常英俊                  | 
| 31 | MM來了   |  10 | 。。。                    | 
| 32 | 歌頌黨  |  20 | 社會主義好                | 
| 33 | 人民好   |  20 | 的確是好                  | 
| 34 | 老高     |  10 | 學習很好                  | 
| 35 | 斜三     |  60 | 眼睛斜了                  | 
| 36 | 中華之子 | 100 | 威武的不行了              | 
| 37 | 大米     |  63 | 我愛吃                    | 
| 38 | 蘋果     |  15 | 好吃                      | 
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)


 (`name`,`age`,`description`);

這些也就是具體的表屬性了,指明這個就可以導入想要的數據。
2、關於靈活性,其實也就是一個記錄功能
如果想在導入的時候記錄一下導入的具體時間怎麼辦?
我們來看看
先加一個時間屬性記錄導入時間。
mysql>alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0
幹掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0


mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fieldsterminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`)set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql>select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age |description               | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我愛你   |  20 | 相貌平常,經常耍流氓!哈哈 | 0000-00-00 00:00:00 | 
…………
| 24 | 老四     |  34 |XXXXX                     | 0000-00-00 00:00:00 | 
| 25 | 老五     |  52 | ***%*¥*¥*¥*¥           |0000-00-00 00:00:00 | 
…………
| 35 | 斜三     |  60 | 眼睛斜了                  | 0000-00-00 00:00:00 | 
| 36 | 中華之子 | 100 | 威武的不行了              | 0000-00-00 00:00:00 | 
…………
| 60 | 王二米   |  20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
…………
| 68 | 上帝他爺 |  96 | 非常英俊                  | 2008-06-30 14:58:37 | 
| 69 | MM來了   |  10 | 。。。                    | 2008-06-30 14:58:37 | 
…………
| 75 | 大米     |  63 | 我愛吃                    | 2008-06-30 14:58:37 | 
| 76 | 蘋果     |  15 | 好吃                      | 2008-06-30 14:58:37 | 
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)


新導入的19條記錄時間被記錄了下來。
只是之前的數據庫沒有記錄,不過現在不需要這些重複數據了。

幹掉他就可以了


mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38  Duplicates: 0  Warnings: 0

mysql>alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38  Duplicates: 19  Warnings: 0

mysql>alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19  Duplicates: 0  Warnings: 0

mysql>select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age |description               | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我愛你   |  20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 59 | 李奎     |  21 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 60 | 王二米   |  20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 | 
| 61 | 老三     |  24 | 很強                      | 2008-06-30 14:58:37 | 
| 62 | 老四     |  34 |XXXXX                     | 2008-06-30 14:58:37 | 
| 63 | 老五     |  52 | ***%*¥*¥*¥*¥           |2008-06-30 14:58:37 | 
| 64 | 小貓     |  45 | 中間省略。。。            | 2008-06-30 14:58:37 | 
| 65 | 小狗     |  12 | 就會叫                    | 2008-06-30 14:58:37 | 
| 66 | 小妹     |  21 | PP的很                    | 2008-06-30 14:58:37 | 
| 67 | 小壞蛋   |  52 | 表裏不一                  | 2008-06-30 14:58:37 | 
| 68 | 上帝他爺 |  96 |非常英俊                  | 2008-06-30 14:58:37 | 
| 69 | MM來了   |  10 | 。。。                    | 2008-06-30 14:58:37 | 
| 70 | 歌頌黨  |  20 | 社會主義好                | 2008-06-30 14:58:37 | 
| 71 | 人民好   |  20 | 的確是好                  | 2008-06-30 14:58:37 | 
| 72 | 老高     |  10 | 學習很好                  | 2008-06-30 14:58:37 | 
| 73 | 斜三     |  60 | 眼睛斜了                  | 2008-06-30 14:58:37 | 
| 74 | 中華之子 | 100 | 威武的不行了              | 2008-06-30 14:58:37 | 
| 75 | 大米     |  63 | 我愛吃                    | 2008-06-30 14:58:37 | 
| 76 | 蘋果     |  15 | 好吃                      | 2008-06-30 14:58:37 | 
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)

現在是達到了目的了,爲啥中途要幹掉唯一索引呢?因爲set 語法 再有IGNORE 的時候會忽略掉。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章