mysql 重複數據的處理

假設有一張表如下，含有部分重複數據，這些重複數據除了 id 不同，其他數據都相同。

id	student_id	name	course_id	course_name	score
1	2005001	張三	1	數學	69
2	2005002	李四	1	數學	89
3	2005001	張三	1	數學	69

CREATE TABLE `test` (
  `id`          INT UNSIGNED NOT NULL AUTO_INCREMENT,
  `student_id`  INT UNSIGNED NOT NULL,
  `name`        VARCHAR(20)  NOT NULL,
  `course_id`   INT UNSIGNED NOT NULL,
  `course_name` VARCHAR(20)  NOT NULL,
  `score`       INT UNSIGNED NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE = InnoDB;

INSERT INTO `test` (`student_id`, `name`, `course_id`, `course_name`, `score`)
VALUES (2005001, '張三', 1, '數學', 69),
       (2005002, '李四', 1, '數學', 89),
       (2005001, '張三', 1, '數學', 69);

1. 過濾重複數據

使用 group by 進行查找就可以過濾重複數據

SELECT `student_id`, `name`, `course_id`, `course_name`, `score` FROM `test`
  GROUP BY `student_id`, `name`, `course_id`, `course_name`, `score`;

2. 統計重複數據

SELECT count(1) AS `repetitions`, `name` FROM `test`
  GROUP BY `student_id`, `name`, `course_id`, `course_name`, `score`
  HAVING `repetitions` > 1;

3. 刪除重複數據

思路：分組後，選出 id 最小的一條，不被選中的 id 全部刪除

DELETE FROM `test`
WHERE `id` NOT IN (
  SELECT `min_id`
  FROM (SELECT min(`id`) AS `min_id`
        FROM `test`
        GROUP BY `student_id`, `name`, `course_id`, `course_name`, `score`) AS `a`
);