唯一ID可以标识数据的唯一性，在分布式系统中生成唯一ID的方案有很多，常见的方式大概有以下几种：
- 依赖数据库，使用如MySQL自增列或Oracle序列等。
- UUID随机数
- snowflake雪花算法(本文将要讨论)
- 利用Redis 单线程处理模型的自增长实现
本文主要讲解Twitter的SnowFlake（雪化算法）
数据库和UUID方案的不足之处
采用数据库自增序列：
- 读写分离时，只有主节点可以进行写操作，可能有单点故障的风险
- 分表分库，数据迁移合并等比较麻烦
UUID随机数：
- 采用无意义字符串，没有排序
- UUID使用字符串形式存储，数据量大时查询效率比较低
雪花算法概述
雪花算法生成的ID是纯数字且具有时间顺序的。其原始版本是scala版，后面出现了许多其他语言的版本如Java、C++等。
结构
- 最高位是符号位，始终为0，不可用。
- 41位的时间序列，精确到毫秒级，41位的长度可以使用69年。时间位还有一个很重要的作用是可以根据时间进行排序。
- 10位的机器标识，10位的长度最多支持部署1024个节点
- 12位的计数序列号，序列号即一系列的自增id，可以支持同一节点同一毫秒生成多个ID序号，12位的计数序列号支持每个节点每毫秒产生4096个ID序号
特点(自增、有序、适合分布式场景)
- 时间位：可以根据时间进行排序，有助于提高查询速度。
- 机器id位：适用于分布式环境下对多节点的各个节点进行标识，可以具体根据节点数和部署情况设计划分机器位10位长度，如划分5位表示进程位等。
- 序列号位：是一系列的自增id，可以支持同一节点同一毫秒生成多个ID序号，12位的计数序列号支持每个节点每毫秒产生4096个ID序号
优点
- 灵活配置：机器码可以根据需求灵活配置含义
- 无需持久化：如果序号自增往往需要持久化，本算法不需要持久化
- ID 有含义/可逆性：ID 可以反解出来，对 ID 进行统计分析，可以很简单的分析出整个系统的繁忙曲线，还可以定位到每个机器，在某段时间承担了多少工作，分析出负载均衡情况
- 高性能：生成速度很快
雪花算法的缺点
雪花算法在单机系统上ID是递增的，但是在分布式系统多节点的情况下，所有节点的时钟并不能保证不完全同步，所以有可能会出现不是全局递增的情况。
/**
* 分布式唯一ID 雪花算法实现
*/
public class SnowFlake {
/**
* 起始的时间戳 2020-06-30 00:00:00
*/
private final static long START_TIMESTAMP = 1593446400L;
/**
* 每一部分占用的位数
*/
private final static long SEQUENCE_BIT = 12; //序列号占用的位数
private final static long MACHINE_BIT = 5; //机器标识占用的位数
private final static long DATA_CENTER_BIT = 5;//数据中心占用的位数
/**
* 每一部分的最大值
*/
private final static long MAX_DATA_CENTER_NUM = -1L ^ (-1L << DATA_CENTER_BIT);
private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
/**
* 每一部分向左的位移
*/
private final static long MACHINE_LEFT = SEQUENCE_BIT;
private final static long DATA_CENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
private final static long TIMESTAMP_LEFT = DATA_CENTER_LEFT + DATA_CENTER_BIT;
/**
* 数据中心编码，初始化后不可修改
* 最大值: 2^5-1 取值范围: [0,31]
*/
private long dataCenterId;
/**
* 机器或进程编码，初始化后不可修改
* 最大值: 2^5-1 取值范围: [0,31]
*/
private long machineId;
/**
* 序列号
* 最大值: 2^12-1 取值范围: [0,4095]
*/
private long sequence = 0L;
private long lastStamp = -1L;//上一次时间戳
public SnowFlake(long dataCenterId, long machineId) {
if (dataCenterId > MAX_DATA_CENTER_NUM || dataCenterId < 0) {
throw new IllegalArgumentException("dataCenterId can't be greater than MAX_DATA_CENTER_NUM or less than 0");
}
if (machineId > MAX_MACHINE_NUM || machineId < 0) {
throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0");
}
this.dataCenterId = dataCenterId;
this.machineId = machineId;
}
/**
* 产生下一个ID
*
* @return
*/
public synchronized long nextId() {
//获取当前时间戳 可用System.currentTimeMillis(); 方法替换
long currStamp = getNewStamp();
//保证当前时间戳不小于最后一次的时间戳
if (currStamp < lastStamp) {
throw new RuntimeException("Clock moved backwards. Refusing to generate id");
}
//如果当前时间戳等于最后一次时间戳 就进行序号递增
if (currStamp == lastStamp) {
//相同毫秒内，序列号自增
sequence = (sequence + 1) & MAX_SEQUENCE;
//同一毫秒的序列数已经达到最大
if (sequence == 0L) {
currStamp = getNextMill();
}
} else {
//不同毫秒内，序列号置为0
sequence = 0L;
}
//保存最后一次时间戳
lastStamp = currStamp;
//通过位运算，将相应的二进制数值放到对应的位置 41位时间戳 + 5位数据中心 + 5位机器码 + 12位序列号 ，首位没有使用
return (currStamp - START_TIMESTAMP) << TIMESTAMP_LEFT //时间戳部分
| dataCenterId << DATA_CENTER_LEFT //数据中心部分
| machineId << MACHINE_LEFT //机器标识部分
| sequence; //序列号部分
}
private long getNextMill() {
//获取当前时间戳
long mill = getNewStamp();
//获取大于上一次时间戳的时间戳
while (mill <= lastStamp) {
mill = getNewStamp();
}
return mill;
}
/**
* 获取当前时间戳
*/
private long getNewStamp() {
return System.currentTimeMillis();
}
//测试
public static void main(String[] args) {
SnowFlake snowFlake = new SnowFlake(2, 3);
long start = System.currentTimeMillis();
for (int i = 0; i < 100000; i++) {
System.out.println(snowFlake.nextId());
}
}
}
总结
分布式唯一ID的方案有很多，本文主要讨论了雪花算法，组成结构大致分为了无效位、时间位、机器位和序列号位。其特点是自增、有序、纯数字组成查询效率高且不依赖于数据库。适合在分布式的场景中应用，可根据需求调整具体实现细节。对于瞬时的高峰唯一ID请求，可以考虑结合Redis 队列进行预生产大量ID，业务消费方优先从Redis获取，ID生产方 持续写入到Redis进行瞬时问题处理。