布隆過濾器使用二進制向量結合hash函數來記錄任意一條數據是否已經存在於集合中。
布隆過濾器的執行流程爲：
- 首先申請包含SIZE個bit位的Bit集合，並將所有Bit置0。
- 然後使用數種（k）不同的哈希函數對目標數據進行哈希計算並得到k個哈希值（確保哈希值不超過SIZE大小），然後將Bit集合中以哈希值爲下標所處的bit值置爲1，由於使用了k個哈希函數，因此記錄一條數據的信息將在Bit集合中把k個bit值置爲1。
- 由於哈希函數的穩定性，任意兩條相同的數據在Bit集合中所對應的k個bit位置是完全相同的。那麼在檢測某一條數據是否已經在Bit集合中有記錄時，只需檢測該條數據的k個哈希值在Bit集合中對應的位置的bit是否均已被標記爲1，相反的只要其存在一個哈希值對應的bit位置未被標記爲1，則證明該值未被記錄過。
優缺點
- 優點
時間複雜度爲O(n)，且布隆過濾器不需要存儲元素本身，使用位陣列，佔用空間也很小。 - 缺點
通過布隆過濾，我們能夠準確判斷一個數不存在於某個集合中，但對於存在於集合中這個結論，布隆過濾會有誤報（可能存在兩組不同數據但其多個哈希值完全一樣的情況）。但是通過控制Bit集合的大小（即SIZE）以及哈希函數的個數，可以將出現衝突的概率控制在極小的範圍內，或者通過額外建立白名單的方式徹底解決哈希衝突問題。
常用的hash算法如下：
package com.lyz.hash;
/**
* Hash算法大全<br>
* 推薦使用FNV1算法
* @author liuyazhuang
*/
public class HashAlgorithms {
/**
* 加法hash
*
* @param key
* 字符串
* @param prime
* 一個質數
* @return hash結果
*/
public static int additiveHash(String key, int prime) {
int hash, i;
for (hash = key.length(), i = 0; i < key.length(); i++)
hash += key.charAt(i);
return (hash % prime);
}
/**
* 旋轉hash
*
* @param key
* 輸入字符串
* @param prime
* 質數
* @return hash值
*/
public static int rotatingHash(String key, int prime) {
int hash, i;
for (hash = key.length(), i = 0; i < key.length(); ++i)
hash = (hash << 4) ^ (hash >> 28) ^ key.charAt(i);
return (hash % prime);
// return (hash ^ (hash>>10) ^ (hash>>20));
}
// 替代：
// 使用：hash = (hash ^ (hash>>10) ^ (hash>>20)) & mask;
// 替代：hash %= prime;
/**
* MASK值，隨便找一個值，最好是質數
*/
static int M_MASK = 0x8765fed1;
/**
* 一次一個hash
*
* @param key
* 輸入字符串
* @return 輸出hash值
*/
public static int oneByOneHash(String key) {
int hash, i;
for (hash = 0, i = 0; i < key.length(); ++i) {
hash += key.charAt(i);
hash += (hash << 10);
hash ^= (hash >> 6);
}
hash += (hash << 3);
hash ^= (hash >> 11);
hash += (hash << 15);
// return (hash & M_MASK);
return hash;
}
/**
* Bernstein's hash
*
* @param key
* 輸入字節數組
* @param level
* 初始hash常量
* @return 結果hash
*/
public static int bernstein(String key) {
int hash = 0;
int i;
for (i = 0; i < key.length(); ++i)
hash = 33 * hash + key.charAt(i);
return hash;
}
/**
* Universal Hashing
*/
public static int universal(char[] key, int mask, int[] tab) {
int hash = key.length, i, len = key.length;
for (i = 0; i < (len << 3); i += 8) {
char k = key[i >> 3];
if ((k & 0x01) == 0)
hash ^= tab[i + 0];
if ((k & 0x02) == 0)
hash ^= tab[i + 1];
if ((k & 0x04) == 0)
hash ^= tab[i + 2];
if ((k & 0x08) == 0)
hash ^= tab[i + 3];
if ((k & 0x10) == 0)
hash ^= tab[i + 4];
if ((k & 0x20) == 0)
hash ^= tab[i + 5];
if ((k & 0x40) == 0)
hash ^= tab[i + 6];
if ((k & 0x80) == 0)
hash ^= tab[i + 7];
}
return (hash & mask);
}
/**
* Zobrist Hashing
*/
public static int zobrist(char[] key, int mask, int[][] tab) {
int hash, i;
for (hash = key.length, i = 0; i < key.length; ++i)
hash ^= tab[i][key[i]];
return (hash & mask);
}
// LOOKUP3
// 見Bob Jenkins(3).c文件
// 32位FNV算法
static int M_SHIFT = 0;
/**
* 32位的FNV算法
*
* @param data
* 數組
* @return int值
*/
public static int FNVHash(byte[] data) {
int hash = (int) 2166136261L;
for (byte b : data)
hash = (hash * 16777619) ^ b;
if (M_SHIFT == 0)
return hash;
return (hash ^ (hash >> M_SHIFT)) & M_MASK;
}
/**
* 改進的32位FNV算法1
*
* @param data
* 數組
* @return int值
*/
public static int FNVHash1(byte[] data) {
final int p = 16777619;
int hash = (int) 2166136261L;
for (byte b : data)
hash = (hash ^ b) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
return hash;
}
/**
* 改進的32位FNV算法1
*
* @param data
* 字符串
* @return int值
*/
public static int FNVHash1(String data) {
final int p = 16777619;
int hash = (int) 2166136261L;
for (int i = 0; i < data.length(); i++)
hash = (hash ^ data.charAt(i)) * p;
hash += hash << 13;
hash ^= hash >> 7;
hash += hash << 3;
hash ^= hash >> 17;
hash += hash << 5;
return hash;
}
/**
* Thomas Wang的算法，整數hash
*/
public static int intHash(int key) {
key += ~(key << 15);
key ^= (key >>> 10);
key += (key << 3);
key ^= (key >>> 6);
key += ~(key << 11);
key ^= (key >>> 16);
return key;
}
/**
* RS算法hash
*
* @param str
* 字符串
*/
public static int RSHash(String str) {
int b = 378551;
int a = 63689;
int hash = 0;
for (int i = 0; i < str.length(); i++) {
hash = hash * a + str.charAt(i);
a = a * b;
}
return (hash & 0x7FFFFFFF);
}
/* End Of RS Hash Function */
/**
* JS算法
*/
public static int JSHash(String str) {
int hash = 1315423911;
for (int i = 0; i < str.length(); i++) {
hash ^= ((hash << 5) + str.charAt(i) + (hash >> 2));
}
return (hash & 0x7FFFFFFF);
}
/* End Of JS Hash Function */
/**
* PJW算法
*/
public static int PJWHash(String str) {
int BitsInUnsignedInt = 32;
int ThreeQuarters = (BitsInUnsignedInt * 3) / 4;
int OneEighth = BitsInUnsignedInt / 8;
int HighBits = 0xFFFFFFFF << (BitsInUnsignedInt - OneEighth);
int hash = 0;
int test = 0;
for (int i = 0; i < str.length(); i++) {
hash = (hash << OneEighth) + str.charAt(i);
if ((test = hash & HighBits) != 0) {
hash = ((hash ^ (test >> ThreeQuarters)) & (~HighBits));
}
}
return (hash & 0x7FFFFFFF);
}
/* End Of P. J. Weinberger Hash Function */
/**
* ELF算法
*/
public static int ELFHash(String str) {
int hash = 0;
int x = 0;
for (int i = 0; i < str.length(); i++) {
hash = (hash << 4) + str.charAt(i);
if ((x = (int) (hash & 0xF0000000L)) != 0) {
hash ^= (x >> 24);
hash &= ~x;
}
}
return (hash & 0x7FFFFFFF);
}
/* End Of ELF Hash Function */
/**
* BKDR算法
*/
public static int BKDRHash(String str) {
int seed = 131; // 31 131 1313 13131 131313 etc..
int hash = 0;
for (int i = 0; i < str.length(); i++) {
hash = (hash * seed) + str.charAt(i);
}
return (hash & 0x7FFFFFFF);
}
/* End Of BKDR Hash Function */
/**
* SDBM算法
*/
public static int SDBMHash(String str) {
int hash = 0;
for (int i = 0; i < str.length(); i++) {
hash = str.charAt(i) + (hash << 6) + (hash << 16) - hash;
}
return (hash & 0x7FFFFFFF);
}
/* End Of SDBM Hash Function */
/**
* DJB算法
*/
public static int DJBHash(String str) {
int hash = 5381;
for (int i = 0; i < str.length(); i++) {
hash = ((hash << 5) + hash) + str.charAt(i);
}
return (hash & 0x7FFFFFFF);
}
/* End Of DJB Hash Function */
/**
* DEK算法
*/
public static int DEKHash(String str) {
int hash = str.length();
for (int i = 0; i < str.length(); i++) {
hash = ((hash << 5) ^ (hash >> 27)) ^ str.charAt(i);
}
return (hash & 0x7FFFFFFF);
}
/* End Of DEK Hash Function */
/**
* AP算法
*/
public static int APHash(String str) {
int hash = 0;
for (int i = 0; i < str.length(); i++) {
hash ^= ((i & 1) == 0) ? ((hash << 7) ^ str.charAt(i) ^ (hash >> 3))
: (~((hash << 11) ^ str.charAt(i) ^ (hash >> 5)));
}
// return (hash & 0x7FFFFFFF);
return hash;
}
/* End Of AP Hash Function */
/**
* JAVA自己帶的算法
*/
public static int java(String str) {
int h = 0;
int off = 0;
int len = str.length();
for (int i = 0; i < len; i++) {
h = 31 * h + str.charAt(off++);
}
return h;
}
/**
* 混合hash算法，輸出64位的值
*/
public static long mixHash(String str) {
long hash = str.hashCode();
hash <<= 32;
hash |= FNVHash1(str);
return hash;
}
}
參考：
https://www.cnblogs.com/arkia123/archive/2012/10/30/2743850.html
https://www.jianshu.com/p/d0600b0d432d
https://www.cnblogs.com/caoke/p/10818900.html