一致性哈希算法是分佈式系統中常用的算法。比如,一個分佈式的存儲系統,要將數據存儲到具體的節點上,如果採用普通的hash方法,將數據映射到具體的節點上,如key%N,key是數據的key,N是機器節點數,如果有一個機器加入或退出這個集羣,則所有的數據映射都無效了,如果是持久化存儲則要做數據遷移,如果是分佈式緩存,則其他緩存就失效了。
因此,引入了一致性哈希算法:
把數據用hash函數(如MD5),映射到一個很大的空間裏,如圖所示。數據的存儲時,先得到一個hash值,對應到這個環中的每個位置,如k1對應到了圖中所示的位置,然後沿順時針找到一個機器節點B,將k1存儲到B這個節點中。
如果B節點宕機了,則B上的數據就會落到C節點上,如下圖所示:
這樣,只會影響C節點,對其他的節點A,D的數據不會造成影響。然而,這又會造成一個“雪崩”的情況,即C節點由於承擔了B節點的數據,所以C節點的負載會變高,C節點很容易也宕機,這樣依次下去,這樣造成整個集羣都掛了。
爲此,引入了“虛擬節點”的概念:即把想象在這個環上有很多“虛擬節點”,數據的存儲是沿着環的順時針方向找一個虛擬節點,每個虛擬節點都會關聯到一個真實節點,如下圖所使用:
圖中的A1、A2、B1、B2、C1、C2、D1、D2都是虛擬節點,機器A負載存儲A1、A2的數據,機器B負載存儲B1、B2的數據,機器C負載存儲C1、C2的數據。由於這些虛擬節點數量很多,均勻分佈,因此不會造成“雪崩”現象。
[java] view plaincopyprint?
public class Shard<S> { // S類封裝了機器節點的信息 ,如name、password、ip、port等
private TreeMap<Long, S> nodes; // 虛擬節點
private List<S> shards; // 真實機器節點
private final int NODE_NUM = 100; // 每個機器節點關聯的虛擬節點個數
public Shard(List<S> shards) {
super();
this.shards = shards;
init();
}
private void init() { // 初始化一致性hash環
nodes = new TreeMap<Long, S>();
for (int i = 0; i != shards.size(); ++i) { // 每個真實機器節點都需要關聯虛擬節點
final S shardInfo = shards.get(i);
for (int n = 0; n < NODE_NUM; n++)
// 一個真實機器節點關聯NODE_NUM個虛擬節點
nodes.put(hash("SHARD-" + i + "-NODE-" + n), shardInfo);
}
}
public S getShardInfo(String key) {
SortedMap<Long, S> tail = nodes.tailMap(hash(key)); // 沿環的順時針找到一個虛擬節點
if (tail.size() == 0) {
return nodes.get(nodes.firstKey());
}
return tail.get(tail.firstKey()); // 返回該虛擬節點對應的真實機器節點的信息
}
/**
* MurMurHash算法,是非加密HASH算法,性能很高,
* 比傳統的CRC32,MD5,SHA-1(這兩個算法都是加密HASH算法,複雜度本身就很高,帶來的性能上的損害也不可避免)
* 等HASH算法要快很多,而且據說這個算法的碰撞率很低.
* http://murmurhash.googlepages.com/
*/
private Long hash(String key) {
ByteBuffer buf = ByteBuffer.wrap(key.getBytes());
int seed = 0x1234ABCD;
ByteOrder byteOrder = buf.order();
buf.order(ByteOrder.LITTLE_ENDIAN);
long m = 0xc6a4a7935bd1e995L;
int r = 47;
long h = seed ^ (buf.remaining() * m);
long k;
while (buf.remaining() >= 8) {
k = buf.getLong();
k *= m;
k ^= k >>> r;
k *= m;
h ^= k;
h *= m;
}
if (buf.remaining() > 0) {
ByteBuffer finish = ByteBuffer.allocate(8).order(
ByteOrder.LITTLE_ENDIAN);
// for big-endian version, do this first:
// finish.position(8-buf.remaining());
finish.put(buf).rewind();
h ^= finish.getLong();
h *= m;
}
h ^= h >>> r;
h *= m;
h ^= h >>> r;
buf.order(byteOrder);
return h;
}
}