mysql 避免重複寫入數據的三種方式 和insert ...on duplicate updt... 死鎖

看完開頭可以直接看粗體部分
mysql在存在主鍵衝突或者唯一鍵衝突的情況下，根據插入策略不同，一般有以下三種避免方法。
1、insert ignore
2、replace into
3、insert on duplicate key update

注意，除非表有一個PRIMARY KEY或UNIQUE索引，否則，使用以上三個語句沒有意義，與使用單純的INSERT INTO相同。

一、insert ignore
insert ignore會忽略數據庫中已經存在的數據(根據主鍵或者唯一索引判斷)，如果數據庫沒有數據，就插入新的數據，如果有數據的話就跳過這條數據.

Case：
表結構如下：

複製代碼
root:test> show create table t3\G
*************************** 1. row ***************************
Table: t3
Create Table: CREATE TABLE t3 (
id int(11) NOT NULL AUTO_INCREMENT,
c1 int(11) DEFAULT NULL,
c2 varchar(20) DEFAULT NULL,
c3 int(11) DEFAULT NULL,
PRIMARY KEY (id),
UNIQUE KEY uidx_c1 (c1)
) ENGINE=InnoDB AUTO_INCREMENT=18 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

root:test> select * from t3;
±—±-----±-----±-----+
| id | c1 | c2 | c3 |
±—±-----±-----±-----+
| 1 | 1 | a | 1 |
| 2 | 2 | a | 1 |
| 8 | NULL | NULL | 1 |
| 14 | 4 | bb | NULL |
| 17 | 5 | cc | 4 |
±—±-----±-----±-----+
5 rows in set (0.00 sec)
複製代碼
測試插入唯一鍵衝突的數據

root:test> insert ignore into t3 (c1,c2,c3) values(5,‘cc’,4),(6,‘dd’,5); Query OK, 1 row affected, 1 warning (0.01 sec)
Records: 2 Duplicates: 1 Warnings: 1
如下，可以看到只插入了(6,‘dd’,5)這條，同時有一條warning提示有重複的值。

複製代碼
root:test> show warnings;
±--------±-----±--------------------------------------+
| Level | Code | Message |
±--------±-----±--------------------------------------+
| Warning | 1062 | Duplicate entry ‘5’ for key ‘uidx_c1’ |
±--------±-----±--------------------------------------+
1 row in set (0.00 sec)

root:test> select * from t3;
±—±-----±-----±-----+
| id | c1 | c2 | c3 |
±—±-----±-----±-----+
| 1 | 1 | a | 1 |
| 2 | 2 | a | 1 |
| 8 | NULL | NULL | 1 |
| 14 | 4 | bb | NULL |
| 17 | 5 | cc | 4 |
| 18 | 6 | dd | 5 |
±—±-----±-----±-----+
6 rows in set (0.00 sec)
複製代碼
重新查詢表結構，發現雖然只增加了一條記錄，但是AUTO_INCREMENT還是增加了2個（18變成20）

複製代碼
root:test> show create table t3\G
*************************** 1. row ***************************
Table: t3

 Create Table: CREATE TABLE `t3` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c1` int(11) DEFAULT NULL,
  `c2` varchar(20) DEFAULT NULL,
  `c3` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `uidx_c1` (`c1`)
) ENGINE=InnoDB AUTO_INCREMENT=20 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

複製代碼
二、replace into
replace into 首先嚐試插入數據到表中。 如果發現表中已經有此行數據(根據主鍵或者唯一索引判斷)則先刪除此行數據，然後插入新的數據，否則，直接插入新數據。
使用replace into，你必須具有delete和insert權限
Case:
複製代碼
root:test> show create table t3\G
*************************** 1. row ***************************
Table: t3
Create Table: CREATE TABLE t3 (
id int(11) NOT NULL AUTO_INCREMENT,
c1 int(11) DEFAULT NULL,
c2 varchar(20) DEFAULT NULL,
c3 int(11) DEFAULT NULL,
PRIMARY KEY (id),
UNIQUE KEY uidx_c1 (c1)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

root:test> select * from t3;
±—±-----±-------±-----+
| id | c1 | c2 | c3 |
±—±-----±-------±-----+
| 1 | 1 | cc | 4 |
| 2 | 2 | dd | 5 |
| 3 | 3 | qwewqe | 3 |
±—±-----±-------±-----+
3 rows in set (0.00 sec)
複製代碼
插入一條與記錄id=3存在唯一鍵（列c1）衝突的數據

複製代碼
root:test> replace into t3 (c1,c2,c3) values(3,‘new’,8);
Query OK, 2 rows affected (0.02 sec)

root:test> select * from t3;
±—±-----±-----±-----+
| id | c1 | c2 | c3 |
±—±-----±-----±-----+
| 1 | 1 | cc | 4 |
| 2 | 2 | dd | 5 |
| 4 | 3 | new | 8 |
±—±-----±-----±-----+
3 rows in set (0.00 sec)
複製代碼
可以看到原有id=3，c1=3的記錄不見了，新增了一條id=4，c1=3的記錄.
replace into語句執行完會返回一個數，來指示受影響的行的數目。該數是被刪除和被插入的行數的和,上面的例子中2 rows affected .

三、insert on duplicate key update
如果在insert into 語句末尾指定了on duplicate key update，並且插入行後會導致在一個UNIQUE索引或PRIMARY KEY中出現重複值，則在出現重複值的行執行UPDATE；如果不會導致重複的問題，則插入新行，跟普通的insert into一樣。
使用insert into，你必須具有insert和update權限
如果有新記錄被插入，則受影響行的值顯示1；如果原有的記錄被更新，則受影響行的值顯示2；如果記錄被更新前後值是一樣的，則受影響行數的值顯示0
Case:
複製代碼
root:test> show create table t3\G
*************************** 1. row ***************************
Table: t3
Create Table: CREATE TABLE t3 (
id int(11) NOT NULL AUTO_INCREMENT,
c1 int(11) DEFAULT NULL,
c2 varchar(20) DEFAULT NULL,
c3 int(11) DEFAULT NULL,
PRIMARY KEY (id),
UNIQUE KEY uidx_c1 (c1)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

root:test> select * from t3;
±—±-----±-----±-----+
| id | c1 | c2 | c3 |
±—±-----±-----±-----+
| 1 | 1 | fds | 4 |
| 2 | 2 | ytu | 3 |
| 3 | 3 | czx | 5 |
±—±-----±-----±-----+
3 rows in set (0.00 sec)
複製代碼
插入一條與記錄id=3存在唯一鍵（列c1）衝突的數據

複製代碼
root:test> insert into t3(c1,c2,c3) values (3,‘new’,5) on duplicate key update c1=c1+3;
Query OK, 2 rows affected (0.01 sec)

root:test> select * from t3;
±—±-----±-----±-----+
| id | c1 | c2 | c3 |
±—±-----±-----±-----+
| 1 | 1 | fds | 4 |
| 2 | 2 | ytu | 3 |
| 3 | 6 | czx | 5 |
±—±-----±-----±-----+
3 rows in set (0.00 sec)
複製代碼
可以看到，id=3的記錄發生了改變，c1=原有的c1+3,其他列沒有改變。

結論：
這三種方法都能避免主鍵或者唯一索引重複導致的插入失敗問題。
insert ignore能忽略重複數據，只插入不重複的數據。
replace into和insert … on duplicate key update，都是替換原有的重複數據，區別在於replace into是刪除原有的行後，在插入新行，如有自增id，這個會造成自增id的改變；insert … on duplicate key update在遇到重複行時，會直接更新原有的行，具體更新哪些字段怎麼更新，取決於update後的語句。

---

分割線分割線分割線分割線分割線分割線分割線分割線

---

我們在實際業務場景中，經常會有一個這樣的需求，插入某條記錄，如果已經存在了則更新它如果更新日期或者某些列上的累加操作等，我們肯定會想到使用INSERT … ON DUPLICATE KEY UPDATE語句，一條語句就搞定了查詢是否存在和插入或者更新這幾個步驟，但是使用這條語句在msyql的innodb5.0以上版本有很多的陷阱，即有可能導致death lock死鎖也有可能導致主從模式下的replication產生數據不一致。

正文

正如前言說的那樣，在實際業務中，曾經有過一個需求就是插入一條業務數據，如果不存在則新增，存在則累加更新某一個字段的值，於是乎就想到了使用insert… on duplicate key update這個語句，但是有一天去測試環境查看錯誤日誌時，卻發現了在多個事務併發執行同一條insert…on duplicate key update 語句時，也就是insert的內容相同時，發生 了死鎖。

對於insert…on duplicate key update這個語句會引發dealth lock問題，官方文檔也沒有相關描述，只是進行如下描述：

An INSERT … ON DUPLICATE KEY UPDATE statement against a table having more than one unique or primary key is also marked as unsafe. (Bug #11765650, Bug #58637)

也就是如果一個表定義有多個唯一鍵或者主鍵時，是不安全的，這又引發了以一個問題，見https://bugs.mysql.com/bug.php?id=58637

也就是

當mysql執行INSERT ON DUPLICATE KEY的 INSERT時，存儲引擎會檢查插入的行是否會產生重複鍵錯誤。如果是的話，它會將現有的

行返回給mysql，mysql會更新它並將其發送回存儲引擎。當表具有多個唯一或主鍵時，此語句對存儲引擎檢查密鑰的順序非常敏感。根據這個順序，

存儲引擎可以確定不同的行數據給到mysql，因此mysql可以更新不同的行。存儲引擎檢查key的順序不是確定性的。例如，InnoDB按照索引添加到

表的順序檢查鍵。首先檢查第一個添加的索引。

所以，如果主站和從站按不同的順序添加索引，那麼如果主從複製是基於語句的複製，那麼可能最後同一個語句在master上執行和slaver上執行的

結果不一致.

回到死鎖的問題

insert … on duplicate key 在執行時，innodb引擎會先判斷插入的行是否產生重複key錯誤，如果存在，在對該現有的行加上S(共享鎖)鎖，如果返回該行數據給mysql,然後mysql執行完duplicate後的update操作，然後對該記錄加上X(排他鎖)，最後進行update寫入。

如果有兩個事務併發的執行同樣的語句，那麼就會產生death lock，如：

解決辦法：
1、儘量對存在多個唯一鍵的table使用該語句
2、在有可能有併發事務執行的insert 的內容一樣情況下不使用該語句