關於數據庫主鍵生成
在我們的業務中,數據庫表主鍵是需要保證唯一的,有序的。通常在單表(不分庫、分表)情況下,我們可以直接使用主鍵自增長來實現。但是這種模式存在幾點明顯的缺點:1、不能支持分庫分表;2、基於數據庫生成,會影響數據庫性能;3、數據清洗遷移比較麻煩。針對以上的情況,我們可以通過應用服務生成UUID來實現唯一的主鍵,但是UUID卻存在下面幾點問題:1、UUID不具有有序性;2、UUID生成基於時間數據性能比較差。所以基於上面的問題,我們需要使用一款優秀的高性能支持分佈式應用的發號器來生成唯一有序的編號。
Snowflake(雪花算法)
針對以上幾個問題,Twitter的Sonwflake是一個流行的開源的發號器,在互聯網公司中得到了廣泛的應用。Snowflake的結構如下所示:
0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
SnowFlake的結構分爲四部分:
第一部分:佔用1bit,值爲0,佔位並沒有實際作用
第二部分:佔41bit,值由時間構成,精確到毫秒,可以使用69年。
第三部分:佔10bit,高5bit爲數據中心ID(datacenter ID),低5bit爲工作節點(Worker ID),這樣最多可以容納1024個節點。
第四部分:佔12bit,這12bit用於在同一毫秒下累加使用,也就是一個工作節點內一毫秒最多能 生成4096個ID,那麼理論上SnowFlake一毫秒最多能生成4194304(1024*4096)個ID。
注意:1、在集羣環境下每一個service要使用不同的節點(數據中心ID+工作節點ID),不然有可能生成的ID重複;2、如果對服務器的時間進行的調整,向前調整時間沒問題,如果向後調整時間,有可能是出現重複的ID。
源碼(Java版)
/**
* Twitter_Snowflake<br>
* SnowFlake的結構如下(每部分用-分開):<br>
* 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br>
* 1位標識,由於long基本類型在Java中是帶符號的,最高位是符號位,正數是0,負數是1,所以id一般是正數,最高位是0<br>
* 41位時間截(毫秒級),注意,41位時間截不是存儲當前時間的時間截,而是存儲時間截的差值(當前時間截 - 開始時間截)
* 得到的值),這裏的的開始時間截,一般是我們的id生成器開始使用的時間,由我們程序來指定的(如下下面程序IdWorker類的startTime屬性)。41位的時間截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br>
* 10位的數據機器位,可以部署在1024個節點,包括5位datacenterId和5位workerId<br>
* 12位序列,毫秒內的計數,12位的計數順序號支持每個節點每毫秒(同一機器,同一時間截)產生4096個ID序號<br>
* 加起來剛好64位,爲一個Long型。<br>
* SnowFlake的優點是,整體上按照時間自增排序,並且整個分佈式系統內不會產生ID碰撞(由數據中心ID和機器ID作區分),並且效率較高,經測試,SnowFlake每秒能夠產生26萬ID左右。
*/
public class SnowflakeIdWorker {
// ==============================Fields===========================================
/** 開始時間截 (2018-06-01) */
private final long twepoch = 1527782400000L;
/** 機器id所佔的位數 */
private final long workerIdBits = 5L;
/** 數據標識id所佔的位數 */
private final long datacenterIdBits = 5L;
/** 支持的最大機器id,結果是31 (這個移位算法可以很快的計算出幾位二進制數所能表示的最大十進制數) */
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
/** 支持的最大數據標識id,結果是31 */
private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
/** 序列在id中佔的位數 */
private final long sequenceBits = 12L;
/** 機器ID向左移12位 */
private final long workerIdShift = sequenceBits;
/** 數據標識id向左移17位(12+5) */
private final long datacenterIdShift = sequenceBits + workerIdBits;
/** 時間截向左移22位(5+5+12) */
private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
/** 生成序列的掩碼,這裏爲4095 (0b111111111111=0xfff=4095) */
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
/** 工作機器ID(0~31) */
private long workerId;
/** 數據中心ID(0~31) */
private long datacenterId;
/** 毫秒內序列(0~4095) */
private long sequence = 0L;
/** 上次生成ID的時間截 */
private long lastTimestamp = -1L;
//==============================Constructors=====================================
/**
* 構造函數
* @param workerId 工作ID (0~31)
* @param datacenterId 數據中心ID (0~31)
*/
public SnowflakeIdWorker(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
}
// ==============================Methods==========================================
/**
* 獲得下一個ID (該方法是線程安全的)
* @return SnowflakeId
*/
public synchronized long nextId() {
long timestamp = timeGen();
//如果當前時間小於上一次ID生成的時間戳,說明系統時鐘回退過這個時候應當拋出異常
if (timestamp < lastTimestamp) {
throw new RuntimeException(
String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
//如果是同一時間生成的,則進行毫秒內序列
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
//毫秒內序列溢出
if (sequence == 0) {
//阻塞到下一個毫秒,獲得新的時間戳
timestamp = tilNextMillis(lastTimestamp);
}
}
//時間戳改變,毫秒內序列重置
else {
sequence = 0L;
}
//上次生成ID的時間截
lastTimestamp = timestamp;
//移位並通過或運算拼到一起組成64位的ID
return ((timestamp - twepoch) << timestampLeftShift) //
| (datacenterId << datacenterIdShift) //
| (workerId << workerIdShift) //
| sequence;
}
/**
* 阻塞到下一個毫秒,直到獲得新的時間戳
* @param lastTimestamp 上次生成ID的時間截
* @return 當前時間戳
*/
protected long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
/**
* 返回以毫秒爲單位的當前時間
* @return 當前時間(毫秒)
*/
protected long timeGen() {
return System.currentTimeMillis();
}
//==============================Test=============================================
/** 測試 */
public static void main(String[] args) {
SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);
ExecutorService service = Executors.newFixedThreadPool(20);
for (int j = 0; j < 20; j++) {
int finalJ = j;
service.submit(() -> {
long startTime = System.currentTimeMillis();
for (int i = 0; i < 10000; i++) {
long id = idWorker.nextId();
System.out.println("線程" + finalJ + ":" + id);
}
long endTime = System.currentTimeMillis();
System.out.println("線程" + finalJ + "用時:" + (endTime - startTime));
});
}
}
}