滴滴開源千萬級併發的分佈式ID生成器

Tinyid是一個ID生成器服務,它提供了REST API和Java客戶端兩種獲取方式,如果使用Java客戶端獲取方式的話,官方宣稱能單實例能達到1kw QPS(Over 10 million QPS per single instance when using the java client.),我的媽呀!

說明:Tinyid要求JDK是1.7+即可。

Github

Tinyid開源的Github地址:https://github.com/didi/tinyid

運行Tinyid

將Tinyid源碼下載到本地,並導入idea後,接下來準備把它運行起來。

1. 導入SQL

Tinyid依賴的SQL腳本路徑:tinyid/tinyid-server/db.sql,是MySQL數據庫的腳本。登陸mysql客戶端並創建一個tinyid數據庫後,執行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables後能看到兩個表tiny_id_infotiny_id_token表示創建成功。並且腳本已經初始化了兩條數據:

mysql>selectid,token,biz_typefromtiny_id_token;+----+----------------------------------+----------+|id|token|biz_type|+----+----------------------------------+----------+|1|0f673adf80504e2eaa552f5d791b644c|test||2|0f673adf80504e2eaa552f5d791b644c|test_odd|+----+----------------------------------+----------+2rowsinset(0.08sec)mysql>selectid,biz_type,begin_id,max_id,step,deltafromtiny_id_info;+----+----------+----------+--------+--------+-------+|id|biz_type|begin_id|max_id|step|delta|+----+----------+----------+--------+--------+-------+|1|test|1|1|100000|1||2|test_odd|1|1|100000|2|+----+----------+----------+--------+--------+-------+2rowsinset(0.01sec) 2. mysql依賴 

這裏需要注意的是,tinyid項目默認依賴5.x版本MySQL驅動包,Maven座標如下:

<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.44</version></dependency> 

如果你的MySQL服務器是8.x版本(筆者本地就是8.x的MySQL),可能會碰到在啓動過程中報連接數據庫錯誤:

Causedby:java.sql.SQLException:Unabletoloadauthenticationplugin'caching_sha2_password'.atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:868)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:864)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)~[mysql-connector-java-5.1.44.jar:5.1.44]...... 

這樣的話,需要將你的MySQL驅動升級到8.x版本(說明:如果你是其他MySQL版本,啓動tinyid時碰到類似的異常,那麼MySQL驅動版本請視情況而定進行升級):

<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.11</version></dependency> 

3. 修改配置

接下來需要更新配置application.properties文件。主要更新數據庫相關配置,具體值根據你的MySQL環境而定:

datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driverdatasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8datasource.tinyid.primary.username=afeidatasource.tinyid.primary.password=afei 

4. 啓動tinyid

tinyid項目基於Springboot開發的,所以啓動非常簡單。只需要運行主類TinyIdServerApplication.java即可。運行後如果能看到如下日誌,表示啓動成功:

00:20:55,761[main][INFO]o.s.b.c.e.t.TomcatEmbeddedServletContainer-Tomcatstartedonport(s):9999(http)00:20:55,767[main][INFO]c.x.u.t.s.TinyIdServerApplication-StartedTinyIdServerApplicationin5.092seconds(JVMrunningfor6.29)00:21:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin00:21:00,002[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitbegin00:21:00,006[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitsuccess,tokensize:200:22:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin。。。。。。 

5. 獲取唯一ID

接下來可以嘗試通過REST API獲取分佈式唯一ID,請求實例如下,bizType和token的值請參考tiny_id_token表:

http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c 

Client集成

tinyid還支持Client集成模式,只需要引入如下Maven座標:

<dependency><groupId>com.xiaoju.uemc.tinyid</groupId><artifactId>tinyid-client</artifactId><version>${tinyid.version}</version></dependency> 

然後在你的classpath路徑下創建配置文件tinyid_client.properties,內容如下,這兩個參數就是IdGeneratorFactoryClient.java中tinyid服務端請求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一個和第二個參數:

tinyid.server=localhost:9999tinyid.token=0f673adf80504e2eaa552f5d791b644c 

tinyid.server還支持多個地址配置,多個地址之間以英文逗號隔開,例如:tinyid.server=host1:9999,tinyid.server=host2:9999。

接下來,就能簡單的通過調用tinyid封裝的API獲取分佈式ID,實例代碼如下,test就是bizType的值:

//單個分佈式ID獲取Longid=TinyId.nextId("test");//多個分佈式ID批量獲取List<Long>ids=TinyId.nextId("test",10); 

通過配置可知,tinyid-client本質上還是依賴tinyid-server,只不過它封裝了對tinyid-server的HTTP請求,然後暴露最簡單的API給用戶使用而已。它對tinyid-server的HTTP請求封裝在TinyIdHttpUtils.java中,依賴JDK原生的HttpURLConnection,居然沒有使用其他第三方優秀的HTTP Client包例如okhttp!

tinyid原理

tinyid的原理非常簡單,通過數據庫表中的數據基本是就能猜出個八九不離十,就是經典的segment模式,和美團的leaf原理幾乎一致。原理圖如下所示,以同一個bizType爲例,每個tinyid-server會分配到不同的segment,例如第一個tinyid-server分配到(1000, 2000],第二個tinyid-server分配到(2000, 3000],第3個tinyid-server分配到(3000, 4000]:

再以第一個tinyid-server爲例,當它的segment用了20%(核心源碼:segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADING_PERCENT / 100);,LOADING_PERCENT的值就是20),即設定loadingId爲20%的閾值,例如當前id是10000,步長爲10000,那麼loadingId=12000。那麼當請求分佈式ID分配到12001時(或者重啓後),即超過loadingId,就會返回一個特殊code:new Result(ResultCode.LOADING, id);tinyid-server根據ResultCode.LOADING這個響應碼就會異步分配下一個segment(4000, 5000],以此類推。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章