[轉]Jedis使用過程中踩過的那些坑

原創 小忆_PK 2020-02-24 00:35

. 一個大坑：若實例化 JedisShardInfo 時不設置節點名稱（name屬性），那麼當Redis節點列表的順序發生變化時，會發生“鍵 rehash 現象”

 

使用BTrace追蹤redis.clients.util.Sharded的實時狀態，驗證“Jedis分片機制的一致性哈希算法”實現；

發現一個致命坑：若JedisShardInfo不設置節點名稱（name屬性），那麼當Redis節點列表的順序發生變化時，會發生“鍵 rehash 現象”。見Sharded的initialize(...)方法實現：

（I） this.algo.hash("SHARD-" + i + "-NODE-" + n)

【缺點】 大坑：將節點的順序索引i作爲hash的一部分！ 當節點順序被無意識地調整了，會觸發”鍵 rehash 現象”，那就杯具啦！（"因節點順序調整而引發rehash"的問題）

（II） this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n)

【優點】 這樣設計避免了上面"因節點順序調整而引發rehash"的問題。

【缺點】 坑："節點名稱+權重"必須是唯一的，否則節點會出現重疊覆蓋！ 同時，"節點名稱+權重"必須不能被中途改變！

（III） 節點IP:端口號+編號

Memcached Java Client，就是採用這種策略。

【缺點】 因機房遷移等原因，可能導致節點IP發生改變！

（IIII） 唯一節點名稱+編號

較好地一致性hash策略是：唯一節點名稱+編號，不要考慮權重因素！

long hash = algo.hash(shardInfo.getName() + "*" + n)

 

所以，在配置Redis服務列表時，必須要設置節點邏輯名稱（name屬性）。

 

redis.server.list=192.168.6.35:6379:Shard-01,192.168.6.36:6379:Shard-02,192.168.6.37:6379:Shard-03,192.168.6.38:6379:Shard-04

 

相關代碼如下所示：

 

 

Sharded.java代碼  收藏代碼
  1. public class Sharded<R, S extends ShardInfo<R>> {  
  2.   
  3.   public static final int DEFAULT_WEIGHT = 1;  
  4.   private TreeMap<Long, S> nodes;  
  5.   private final Hashing algo;  
  6.   private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<ShardInfo<R>, R>();  
  7.   
  8.   public Sharded(List<S> shards) {  
  9.     this(shards, Hashing.MURMUR_HASH); // MD5 is really not good as we works with 64-bits not 128  
  10.   }  
  11.   
  12.   public Sharded(List<S> shards, Hashing algo) {  
  13.     this.algo = algo;  
  14.     initialize(shards);  
  15.   }  
  16.   
  17.   private void initialize(List<S> shards) {  
  18.     nodes = new TreeMap<Long, S>();  
  19.   
  20.     for (int i = 0; i != shards.size(); ++i) {  
  21.       final S shardInfo = shards.get(i);  
  22.       if (shardInfo.getName() == null) for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {  
  23.         nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);  
  24.       }  
  25.       else for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {  
  26.         nodes.put(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n), shardInfo);  
  27.       }  
  28.       resources.put(shardInfo, shardInfo.createResource());  
  29.     }  
  30.   }  
  31.   
  32.   ...  
  33.   
  34. }  

 

3. "Redis客戶端連接數一直降不下來"的問題

 

這個問題發生有兩方面的原因：

  1. 未正確使用對象池的空閒隊列行爲（LIFO“後進先出”棧方式）
  2. “關閉集羣鏈接時異常導致連接泄漏”問題（見本文的第一個問題）

 

具體分析過程，詳見《[線上問題] "Redis客戶端連接數一直降不下來"的問題解決》。

 

2. Jedis “Socket讀取超時”導致“返回值類型錯誤”

 

異常信息如下所示：

 

Redis.error.log代碼  收藏代碼
  1. [2015-02-07 09:17:47] WARN  c.f.f.b.s.r.i.CustomShardedJedisFactory -quit jedis connection for server fail: xxx.xxx.xxx.xxx:xxx  
  2. java.lang.ClassCastException: java.lang.Long cannot be cast to [B   （強制類型轉換異常）  
  3.     at redis.clients.jedis.Connection.getStatusCodeReply(Connection.java:181) ~[jedis-2.6.2.jar:na]  
  4.     at redis.clients.jedis.BinaryJedis.quit(BinaryJedis.java:136) ~[jedis-2.6.2.jar:na]  
  5.     at cn.fraudmetrix.forseti.biz.service.redis.impl.CustomShardedJedisFactory.destroyObject(CustomShardedJedisFactory.java:116) ~[forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  6.     at org.apache.commons.pool2.impl.GenericObjectPool.destroy(GenericObjectPool.java:848) [commons-pool2-2.0.jar:2.0]  
  7.     at org.apache.commons.pool2.impl.GenericObjectPool.invalidateObject(GenericObjectPool.java:626) [commons-pool2-2.0.jar:2.0]  
  8.     at redis.clients.util.Pool.returnBrokenResourceObject(Pool.java:83) [jedis-2.6.2.jar:na]  
  9.     at cn.fraudmetrix.forseti.biz.service.redis.impl.CustomShardedJedisPool.returnBrokenResource(CustomShardedJedisPool.java:121) [forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  10.     at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:337) [forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  11.     at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:319) [forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  12.     ...  
  13. [2015-02-07 09:17:47] ERROR c.f.f.b.s.r.i.RedisServiceImpl -'zadd' key fail, key: xxx, score: xxx, member: xxx  
  14.   
  15. [2015-02-07 09:17:47] ERROR c.f.f.b.s.r.i.RedisServiceImpl -java.net.SocketTimeoutException: Read timed out  
  16.   
  17. redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out    （Socket讀取超時異常）  
  18.     at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:201) ~[jedis-2.6.2.jar:na]     （'limit = in.read(buf);' at java.io.InputStream.read(InputStream.java:100) - 這裏出現阻塞導致"Socket讀取超時"！）  
  19.     at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40) ~[jedis-2.6.2.jar:na]  
  20.     at redis.clients.jedis.Protocol.process(Protocol.java:128) ~[jedis-2.6.2.jar:na]  
  21.     at redis.clients.jedis.Protocol.read(Protocol.java:192) ~[jedis-2.6.2.jar:na]  
  22.     at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:282) ~[jedis-2.6.2.jar:na]  
  23.     at redis.clients.jedis.Connection.getIntegerReply(Connection.java:207) ~[jedis-2.6.2.jar:na]  
  24.     at redis.clients.jedis.Jedis.zadd(Jedis.java:1293) ~[jedis-2.6.2.jar:na]  
  25.     at redis.clients.jedis.ShardedJedis.zadd(ShardedJedis.java:364) ~[jedis-2.6.2.jar:na]  
  26.     at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:328) [forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  27.     at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:319) [forseti-biz-service-1.0-SNAPSHOT.jar:na]  
  28.     ...  
  29. Caused by: java.net.SocketTimeoutException: Read timed out  
  30.     at java.net.SocketInputStream.socketRead0(Native Method) ~[na:1.7.0_51]  
  31.     at java.net.SocketInputStream.read(SocketInputStream.java:152) ~[na:1.7.0_51]  
  32.     at java.net.SocketInputStream.read(SocketInputStream.java:122) ~[na:1.7.0_51]  
  33.     at java.net.SocketInputStream.read(SocketInputStream.java:108) ~[na:1.7.0_51]  
  34.     at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:195) ~[jedis-2.6.2.jar:na]  
  35.     ... 38 common frames omitted  
 

 

從異常信息來看，首先是在'zadd'操作時出現"Socket讀取超時異常"，具體異常信息"JedisConnectionException: java.net.SocketTimeoutException: Read timed out"。

出現異常後，會銷燬這個阻塞的Jedis連接池對象（CustomShardedJedisPool.returnBrokenResource(CustomShardedJedisPool.java:121)），但在請求Redis服務端關閉連接時，出現"強制類型轉換異常"，具體異常信息"ClassCastException: java.lang.Long cannot be cast to [B"。

 

這個問題已經有前輩遇到過了，其解釋：

查看 Jedis 源碼發現它的Connection中對網絡輸出流做了一個封裝（RedisInputStream），其中自建了一個buffer。當發生異常的時候，這個buffer裏還殘存着上次沒有發送或者發送不完整的命令。這個時候沒有做處理，直接將該連接返回到連接池，那麼重用該連接執行下次命令的時候，就會將上次沒有發送的命令一起發送過去，所以纔會出現上面的錯誤“返回值類型不對”。

所以，正確的寫法應該是：在發送異常的時候，銷燬這個連接，不能再重用！ 

 

參考自：

 

1. CustomShardedJedisFactory.destroyObject(PooledObject<ShardedJedis> pooledShardedJedis) 存在“客戶端連接泄露”問題

 

異常信息如下所示：

 

Redis.error.log代碼  收藏代碼
  1. [2015-01-28 15:33:51] ERROR c.f.f.b.s.r.i.RedisServiceImpl -ShardedJedis close fail     
  2.   
  3. redis.clients.jedis.exceptions.JedisException: Could not return the resource to the pool   
  4. at redis.clients.util.Pool.returnBrokenResourceObject(Pool.java:85) ~[jedis-2.6.2.jar:na]         
  5. at cn.fraudmetrix.forseti.biz.service.redis.impl.CustomShardedJedisPool.returnBrokenResource(CustomShardedJedisPool.java:120) ~[forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  6. at cn.fraudmetrix.forseti.biz.service.redis.impl.CustomShardedJedisPool.returnBrokenResource(CustomShardedJedisPool.java:26) ~[forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  7. at redis.clients.jedis.ShardedJedis.close(ShardedJedis.java:638) ~[jedis-2.6.2.jar:na]         
  8. at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.close(RedisServiceImpl.java:90) [forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  9. at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:380) [forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  10. at cn.fraudmetrix.forseti.biz.service.redis.impl.RedisServiceImpl.zadd(RedisServiceImpl.java:346) [forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  11. ...      
  12. at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) [na:1.7.0_51]         
  13. at java.util.concurrent.FutureTask.run(FutureTask.java:262) [na:1.7.0_51]         
  14. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_51]  
  15. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_51]  
  16. at java.lang.Thread.run(Thread.java:744) [na:1.7.0_51]         
  17. Caused by: java.lang.ClassCastException: java.lang.Long cannot be cast to [B   
  18. at redis.clients.jedis.Connection.getStatusCodeReply(Connection.java:181) ~[jedis-2.6.2.jar:na]         
  19. at redis.clients.jedis.BinaryJedis.quit(BinaryJedis.java:136) ~[jedis-2.6.2.jar:na]         
  20. at redis.clients.jedis.BinaryShardedJedis.disconnect(BinaryShardedJedis.java:35) ~[jedis-2.6.2.jar:na]  
  21. at cn.fraudmetrix.forseti.biz.service.redis.impl.CustomShardedJedisFactory.destroyObject(CustomShardedJedisFactory.java:106) ~[forseti-biz-service-1.0-SNAPSHOT.jar:na]         
  22. at org.apache.commons.pool2.impl.GenericObjectPool.destroy(GenericObjectPool.java:848) ~[commons-pool2-2.0.jar:2.0]         
  23. at org.apache.commons.pool2.impl.GenericObjectPool.invalidateObject(GenericObjectPool.java:626) ~[commons-pool2-2.0.jar:2.0]         
  24. at redis.clients.util.Pool.returnBrokenResourceObject(Pool.java:83) ~[jedis-2.6.2.jar:na]         
  25. ... 37 common frames omitted  

 

 

從異常信息來看，是由於應用程序無法捕獲運行時的強制類型轉換異常（“java.lang.ClassCastException: java.lang.Long cannot be cast to [B”）導致關閉操作異常中斷，問題的根源代碼位於“BinaryShardedJedis.disconnect(BinaryShardedJedis.java:35)

CustomShardedJedisFactory.destroyObject(CustomShardedJedisFactory.java:106)”。

 

原實現代碼只捕獲了 JedisConnectionException 異常，如下所示：

 

 

Customshardedjedisfactory.java代碼  收藏代碼
  1. public void destroyObject(PooledObject<ShardedJedis> pooledShardedJedis) throws Exception {  
  2.     final ShardedJedis shardedJedis = pooledShardedJedis.getObject();  
  3.   
  4.     shardedJedis.disconnect(); // "鏈接資源"無法被釋放，存在泄露  
  5. }  

 

 

Binaryshardedjedis.java代碼  收藏代碼
  1. public void disconnect() {  
  2.   for (Jedis jedis : getAllShards()) {  
  3.     try {  
  4.       jedis.quit();  
  5.     } catch (JedisConnectionException e) {  
  6.       // ignore the exception node, so that all other normal nodes can release all connections.  
  7.     }  
  8.     try {  
  9.       jedis.disconnect();  
  10.     } catch (JedisConnectionException e) {  
  11.       // ignore the exception node, so that all other normal nodes can release all connections.  
  12.     }  
  13.   }  
  14. }  

 

修復後代碼捕獲了所有的 Exception，就不存在釋放鏈接時由於異常未捕獲而導致鏈接釋放中斷。如下所示：

 

Customshardedjedisfactory.java代碼  收藏代碼
  1. public void destroyObject(PooledObject<ShardedJedis> pooledShardedJedis) throws Exception {  
  2.     final ShardedJedis shardedJedis = pooledShardedJedis.getObject();  
  3.   
  4.     // shardedJedis.disconnect(); // "鏈接資源"無法被釋放，存在泄露  
  5.     for (Jedis jedis : shardedJedis.getAllShards()) {  
  6.         try {  
  7.             // 1. 請求服務端關閉連接  
  8.             jedis.quit();  
  9.         } catch (Exception e) {  
  10.             // ignore the exception node, so that all other normal nodes can release all connections.  
  11.   
  12.             // java.lang.ClassCastException: java.lang.Long cannot be cast to [B  
  13.             // (zadd/zcard 返回 long 類型，而 quit 返回 string 類型。從這裏看，上一次的請求結果並未讀取)  
  14.             logger.warn("quit jedis connection for server fail: " + toServerString(jedis), e);  
  15.         }  
  16.   
  17.         try {  
  18.             // 2. 客戶端主動關閉連接  
  19.             jedis.disconnect();  
  20.         } catch (Exception e) {  
  21.             // ignore the exception node, so that all other normal nodes can release all connections.  
  22.   
  23.             logger.warn("disconnect jedis connection fail: " + toServerString(jedis), e);  
  24.         }  
  25.     }  

  1. }  

轉：http://bert82503.iteye.com/blog/2184225

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

win 環境下 docker 的使用整理

1、下載： https://www.docker.com/products/docker-desktop/   如果電腦分多個盤，建議下載到可用存儲較大的盤，安裝的時候默認安裝到 C 盤，安裝完成後雙擊啓動   如果出現【Docker

原創 2024-05-17 00:25:04

Spring cloud gateway入門

微服務Gateway 微服務網關部署在前端Nginx網關和後端微服務之間，Nginx一般充當流量網關，而微服務網關屬於一種業務型 網關，微服務網關層爲後端的微服務羣組提供統一的接入地址，其核心功能是統一做服務路由，在路由基礎上還 可以實現一

原創 2024-05-15 11:50:15

播放全鏈路壓測實踐之路

01 背 景  播放鏈路是愛奇藝最重要的業務，鏈路穩定性極其重要，隨着愛奇藝用戶的不斷增長和熱播劇集的推廣，播放鏈路往往面臨着難以預估的用戶流量的突增，考

愛奇藝技術產品團隊 2024-05-14 02:28:30

redis未授權訪問漏洞修復方案

1.redis未授權訪問漏洞 通過redis未授權訪問漏洞，會造成敏感信息泄露，甚至被利用直接控制服務器，其危害不言而喻。但是在實際工作中，發現一些開發人員和運維人員並不知道如何妥善配置。因此有了本文，對redis的配置，建議就是2條，一

osc_hwc3munb 2024-05-14 02:04:38

我拍了拍Redis，被移出了羣聊···

01 Redis的新煩惱 你好，我是Redis，一個叫Antirez的男人把我帶到了這個世界上。 自從上次被拉入羣聊之後，我就從一個人單打獨鬥變成了團隊合作，在小夥伴們的共同努力下，不僅有主從複製可以數據備份，還有哨兵節點負責監控管理

osc_7cws6vmd 2024-05-14 01:06:44

redis-benchmark併發壓力測試

前言： Redis-benchmark： Redis 自帶了一個叫 redis-benchmark 的工具來模擬 N 個客戶端同時發出 M 個請求。 （類似於 Apache ab 程序）。你可以使用 redis-benchmark -h

osc_51airx3z 2024-05-14 00:37:31

Windows Redis 開機啓動後臺運行

1. 從 Redis 的安裝目錄進入 cmd  2. 在 cmd 中輸入, 將Redis綁定爲 Windows 服務, 並設置爲後臺啓動： redis-server --service-install redis.windows.con

osc_oj4rjab5 2024-05-13 23:37:31

記一次特別的未授權訪問

某個夜裏，隨手點進去的一個小程序，引發的連鎖反應。 開局一個小程序： 登錄方式令人發愁，嘗試收集，無果。 數據交互的地方說不定有sql，再次嘗試，還是無果。 複製連接去web端，看看有沒有什麼收穫： 好熟悉的界面，這不是SpringB

原創 2024-05-13 23:18:59

cheerp 編譯器之通用計算模塊ccm1

cheerp 通用計算模塊(ccm1) 是基於cheerp 編譯器發射出平臺格式無關的wasm中間代碼，在不同宿主之內運行的一種模塊化方式。 0x1. 不同宿主的相同代碼實現 ccm1 的一般宿主是c++實現，不同平臺編譯引用就可以，目

原創 2024-05-12 21:53:46

Java程序員5面阿里終獲offer，感慨：原來阿里面試這麼嚴

    坊間傳言的阿里P6招聘需求   感覺面試還是主要圍繞簡歷來問的，所以不熟悉的東西最好不要隨便寫上去。項目和基礎都很重要，項目中最好有難點，能夠體現自己解決問題的過程和思路。   電話面： 自我介紹 事務的特性 ACID ，

原創 2024-05-11 14:54:29

一招MAX降低10倍，現在它是我的了| 京東零售技術團隊

一.背景 性能優化是一場永無止境的旅程。 到家門店系統，作爲到家核心基礎服務之一，門店C端接口有着調用量高，性能要求高的特點。 C端服務經過演進，核心接口先查詢本地緩存，如果本地緩存沒有命中，再查詢Redis。本地緩存命中率99%，服務性能

原創 2024-05-10 12:41:31

深入理解分佈式鎖：原理、應用與挑戰| 京東物流技術團隊

前言 在單機環境中，我們主要通過線程間的加鎖機制來確保同一時間只有一個線程能夠訪問某個共享資源或執行某個關鍵代碼塊，從而防止各種併發修改異常。例如，在Java中提供了synchronized/Lock。但是在分佈式環境中，這種線程間的鎖機制

原創 2024-05-10 00:30:02

營銷權益平臺春晚技術探究| 京東雲技術團隊

一、引言 在當前快速發展的互聯網環境中，許多企業和服務都面臨着高併發場景的挑戰。隨着用戶規模不斷增長，對於同一時間內大量用戶請求的處理能力、系統性能、穩定性和容錯性的要求也日益提高。高併發場景對系統架構設計、數據庫設計、緩存策略、自動化運

原創 2024-05-07 23:17:14

CCE雲原生混部場景下的測試案例

本文分享自華爲雲社區《CCE雲原生混部場景下在線任務搶佔、壓制離線任務CPU資源、保障在線任務服務質量效果測試》，作者：可以交個朋友。 背景 企業的 IT 環境通常運行兩大類進程，一類是在線服務，一類是離線作業。 在線任務：運行時間長，服

原創 2024-05-07 10:33:03

Centos7 使用 Docker 安裝 owncloud

centos7 安裝 docker 安裝教程可參考：centos7 安裝 docker 開始安裝owncloud 1. 創建一個新的項目目錄 mkdir owncloud-docker-server cd owncloud-doc

原創 2024-05-06 23:24:42