分佈式主鍵解決方案----Twitter 雪花算法的原理（Java 版）

SnowFlake 雪花算法

對於分佈式系統環境，主鍵ID的設計很關鍵，什麼自增intID那些是絕對不用的，比較早的時候，大部分系統都用UUID/GUID來作爲主鍵，優點是方便又能解決問題，缺點是插入時因爲UUID/GUID的不規則導致每插入一條數據就需要重新排列一次，性能低下；也有人提出用UUID/GUID轉long的方式，可以很明確的告訴你，這種方式long不能保證唯一，大併發下會有重複long出現，所以也不可取，這個主鍵設計問題曾經是很多公司系統設計的一個頭疼點，所以大部分公司願意犧牲一部分性能而直接採用簡單粗暴的UUID/GUID來作爲分佈式系統的主鍵；

twitter開源了一個snowflake算法，俗稱雪花算法；就是爲了解決分佈式環境下生成不同ID的問題；該算法會生成19位的long型有序數字，MySQL中用bigint來存儲（bigint長度爲20位）；該算法應該是目前分佈式環境中主鍵ID最好的解決方案之一了；

SnowFlake 算法其核心思想就是：使用一個 64 bit 的 long 型的數字作爲全局唯一 id。在分佈式系統中的應用十分廣泛，且ID 引入了時間戳，基本上保持自增的，後面的代碼中有詳細的註解。

這 64 個 bit 中，其中 1 個 bit 是不用的，然後用其中的 41 bit 作爲毫秒數，用 10 bit 作爲工作機器 id，12 bit 作爲序列號。

給大家舉個例子吧，比如下面那個 64 bit 的 long 型數字：

• 第一個部分，是 1 個 bit：0，這個是無意義的。

• 第二個部分是 41 個 bit：表示的是時間戳。

• 第三個部分是 5 個 bit：表示的是機房 id，10001。

• 第四個部分是 5 個 bit：表示的是機器 id，1 1001。

• 第五個部分是 12 個 bit：表示的序號，就是某個機房某臺機器上這一毫秒內同時生成的 id 的序號，0000 00000000。

①1 bit：是不用的，爲啥呢？

因爲二進制裏第一個 bit 爲如果是 1，那麼都是負數，但是我們生成的 id 都是正數，所以第一個 bit 統一都是 0。

②41 bit：表示的是時間戳，單位是毫秒。

41 bit 可以表示的數字多達 2^41 - 1，也就是可以標識 2 ^ 41 - 1 個毫秒值，換算成年就是表示 69 年的時間。

③10 bit：記錄工作機器 id，代表的是這個服務最多可以部署在 2^10 臺機器上，也就是 1024 臺機器。

但是 10 bit 裏 5 個 bit 代表機房 id，5 個 bit 代表機器 id。意思就是最多代表 2 ^ 5 個機房（32 個機房），每個機房裏可以代表 2 ^ 5 個機器（32 臺機器），也可以根據自己公司的實際情況確定。

④12 bit：這個是用來記錄同一個毫秒內產生的不同 id。

12 bit 可以代表的最大正整數是 2 ^ 12 - 1 = 4096，也就是說可以用這個 12 bit 代表的數字來區分同一個毫秒內的 4096 個不同的 id。

​ 簡單來說，你的某個服務假設要生成一個全局唯一 id，那麼就可以發送一個請求給部署了 SnowFlake 算法的系統，由這個 SnowFlake 算法系統來生成唯一 id。

這個 SnowFlake 算法系統首先肯定是知道自己所在的機房和機器的，比如機房 id = 17，機器 id = 12。

接着 SnowFlake 算法系統接收到這個請求之後，首先就會用二進制位運算的方式生成一個 64 bit 的 long 型 id，64 個 bit 中的第一個 bit 是無意義的。

接着 41 個 bit，就可以用當前時間戳（單位到毫秒），然後接着 5 個 bit 設置上這個機房 id，還有 5 個 bit 設置上機器 id。

最後再判斷一下，當前這臺機房的這臺機器上這一毫秒內，這是第幾個請求，給這次生成 id 的請求累加一個序號，作爲最後的 12 個 bit。

最終一個 64 個 bit 的 id 就出來了，類似於：

這個算法可以保證說，一個機房的一臺機器上，在同一毫秒內，生成了一個唯一的 id。可能一個毫秒內會生成多個 id，但是有最後 12 個 bit 的序號來區分開來。

下面我們簡單看看這個 SnowFlake 算法的一個代碼實現，這就是個示例，大家如果理解了這個意思之後，以後可以自己嘗試改造這個算法。

總之就是用一個 64 bit 的數字中各個 bit 位來設置不同的標誌位，區分每一個 id。

SnowFlake 算法的實現代碼如下：

/** 描述: Twitter的分佈式自增ID雪花算法snowflake (Java版) */
public class SnowFlake {

  // 因爲二進制裏第一個 bit 爲如果是 1，那麼都是負數，但是我們生成的 id 都是正數，所以第一個 bit 統一都是 0

  /** 起始的時間戳 */
  private static final long START_STMP = 1480166465631L;

  /** 每一部分佔用的位數 */
  private static final long SEQUENCE_BIT = 12; // 序列號佔用的位數

  private static final long MACHINE_BIT = 5; // 機器標識佔用的位數
  private static final long DATACENTER_BIT = 5; // 數據中心佔用的位數

  /** 每一部分的最大值 */
  // 這個是一個意思，就是5 bit最多隻能有31個數字，機房id最多隻能是32以內
  private static final long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
  // 這個是二進制運算，就是5 bit最多隻能有31個數字，也就是說機器id最多隻能是32以內
  private static final long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
  // 每毫秒內產生的id數 2 的 12次方
  private static final long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);

  /** 每一部分向左的位移 */
  private static final long MACHINE_LEFT = SEQUENCE_BIT;

  private static final long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
  private static final long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;

  // 機房ID 2進制5位  32位減掉1位 31個
  private long datacenterId; // 數據中心、機房ID
  // 機器ID  2進制5位  32位減掉1位 31個
  private long machineId; // 機器標識
  // 代表一毫秒內生成的多個id的最新序號  12位 4096 -1 = 4095 個
  private long sequence = 0L; // 序列號
  // 記錄產生時間毫秒數，判斷是否是同1毫秒
  private long lastStmp = -1L; // 上一次時間戳

  public SnowFlake(long datacenterId, long machineId) {
    // 檢查機房id和機器id是否超過31 不能小於0
    if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
      throw new IllegalArgumentException(
          "datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0");
    }
    if (machineId > MAX_MACHINE_NUM || machineId < 0) {
      throw new IllegalArgumentException(
          "machineId can't be greater than MAX_MACHINE_NUM or less than 0");
    }
    this.datacenterId = datacenterId;
    this.machineId = machineId;
  }

  /**
   * // 這個是核心方法，通過調用nextId()方法，讓當前這臺機器上的snowflake算法程序生成一個全局唯一的id
   *
   * @return
   */
  public synchronized long nextId() {
    long currStmp = getNewstmp();
    if (currStmp < lastStmp) {
      throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
    }

    // 下面是說假設在同一個毫秒內，又發送了一個請求生成一個id
    // 這個時候就得把seqence序號給遞增1，最多就是4096
    if (currStmp == lastStmp) {
      // 這個意思是說一個毫秒內最多隻能有4096個數字，無論你傳遞多少進來，
      // 這個位運算保證始終就是在4096這個範圍內，避免你自己傳遞個sequence超過了4096這個範圍
      sequence = (sequence + 1) & MAX_SEQUENCE;
      // 當某一毫秒的時間，產生的id數 超過4095，系統會進入等待，直到下一毫秒，系統繼續產生ID
      if (sequence == 0L) {
        currStmp = getNextMill();
      }
    } else {
      // 不同毫秒內，序列號置爲0
      sequence = 0L;
    }

    lastStmp = currStmp;
    // 最核心的二進制位運算操作，生成一個64bit的id
    // 先將當前時間戳左移，放到41 bit那兒；將機房id左移放到5 bit那兒；將機器id左移放到5 bit那兒；將序號放最後12 bit
    // 最後拼接起來成一個64 bit的二進制數字，轉換成10進制就是個long型
    return (currStmp - START_STMP) << TIMESTMP_LEFT // 時間戳部分
        | datacenterId << DATACENTER_LEFT // 數據中心部分
        | machineId << MACHINE_LEFT // 機器標識部分
        | sequence; // 序列號部分
  }

  private long getNextMill() {
    long mill = getNewstmp();
    while (mill <= lastStmp) {
      mill = getNewstmp();
    }
    return mill;
  }

  private long getNewstmp() {
    return System.currentTimeMillis();
  }

  public static void main(String[] args) {
    SnowFlake snowFlake = new SnowFlake(5, 9);

    long start = System.currentTimeMillis();
    for (int i = 0; i < 1000000; i++) {
      System.out.println(snowFlake.nextId());
    }

    System.out.println(System.currentTimeMillis() - start);

    System.out.println("MAX_MACHINE_NUM");
    System.out.println(MAX_MACHINE_NUM);
    System.out.println(MAX_DATACENTER_NUM);
    System.out.println(MAX_SEQUENCE);
    System.out.println("MAX_DATACENTER_NUM");
  }
}

SnowFlake算法的優點：

• （1）高性能高可用：生成時不依賴於數據庫，完全在內存中生成（由於完基於位運算，所以性能比隨機數運算要高）。

• （2）容量大：每秒中能生成數百萬的自增ID。

• （3）ID自增：存入數據庫中，索引效率高。

SnowFlake算法的缺點：

依賴與系統時間的一致性，如果系統時間被回調，或者改變，可能會造成id衝突或者重複。

實際中我們的機房並沒有那麼多，我們可以改進改算法，將10bit的機器id優化，成業務表或者和我們系統相關的業務。

測試生成100萬個數據算只用了約4s時間