Mysql5.7 使用存储过程 分段生成 亿级 测试数据

 

1、建表

DROP TABLE IF EXISTS `t_big_table`;
CREATE TABLE `t_big_table` (
  `id` bigint(20) NOT NULL,
  `code` varchar(255) DEFAULT NULL,
  `username` varchar(255) DEFAULT NULL,
  `password` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='大数据表（用于测试sql查询语句调优）';

 

2、建存储过程

DROP PROCEDURE IF EXISTS gen_big_data;
DELIMITER $$
SET AUTOCOMMIT = 0$$
CREATE  PROCEDURE gen_big_data(
IN min_num INTEGER,
IN max_num INTEGER
)
BEGIN
DECLARE n DECIMAL (10)  DEFAULT min_num ;
dd:LOOP
      INSERT  INTO t_big_table(id,code,username,password) VALUES (n,UUID(),concat('user-',n),password(n));
			COMMIT;
			SET n = n+1 ;
			IF  n = max_num  THEN LEAVE dd;
			END IF;
END LOOP dd ;
END;$$
DELIMITER ;

 

3、调用存储过程，生成测试数据：

  例如生成5百万数据 ，可根据区间，分5次执行，以减少生成数据的时间

call gen_big_data(1,1000000);

call gen_big_data(1000000,2000000);

call gen_big_data(2000000,3000000);

call gen_big_data(3000000,4000000);

call gen_big_data(4000000,5000000);

执行耗时截图（笔记本配置较低，执行时间较长）：

 

4、统计数据：

 

一条count语句，速度这么慢,貌似说不过去，于是给id字段建了个唯一索引（由于id字段是主键，拥有主键索引，但数据量大时，查询还是很慢，此处的操作是在主键索引上建立唯一索引，即在索引上建索引）：

 

 

1千万的数据，导出成sql格式的，共1.37G大小，压缩下，就279多M了，

t_big_table(含数据).7z  百度网盘链接，以备后用，需要的朋友们，可以直接下:

链接：https://pan.baidu.com/s/1wGkXiEhSHH_XUJR-x96pcg 
提取码：qrnp

 

参考文档：

Mysql 生成亿级测试数据 https://blog.csdn.net/qq_36431213/article/details/81304645

MySQL存储过程（带输入参数）实例 https://www.cnblogs.com/halo-halo/p/9026078.html