各種字符串Hash函數

/// @brief BKDR Hash Function  
/// @detail 本 算法由於在Brian Kernighan與Dennis Ritchie的《The C Programming Language》一書被展示而得 名,是一種簡單快捷的hash算法,也是Java目前採用的字符串的Hash算法(累乘因子爲31)。  
template<class T>  
size_t BKDRHash(const T *str)  
{  
    register size_t hash = 0;  
    while (size_t ch = (size_t)*str++)  
    {         
        hash = hash * 131 + ch;   // 也可以乘以31、131、1313、13131、131313..  
        // 有人說將乘法分解爲位運算及加減法可以提高效率,如將上式表達爲:hash = hash << 7 + hash << 1 + hash + ch;  
        // 但其實在Intel平臺上,CPU內部對二者的處理效率都是差不多的,  
        // 我分別進行了100億次的上述兩種運算,發現二者時間差距基本爲0(如果是Debug版,分解成位運算後的耗時還要高1/3);  
        // 在ARM這類RISC系統上沒有測試過,由於ARM內部使用Booth's Algorithm來模擬32位整數乘法運算,它的效率與乘數有關:  
        // 當乘數8-31位都爲1或0時,需要1個時鐘週期  
        // 當乘數16-31位都爲1或0時,需要2個時鐘週期  
        // 當乘數24-31位都爲1或0時,需要3個時鐘週期  
        // 否則,需要4個時鐘週期  
        // 因此,雖然我沒有實際測試,但是我依然認爲二者效率上差別不大          
    }  
    return hash;  
}  
/// @brief SDBM Hash Function  
/// @detail 本算法是由於在開源項目SDBM(一種簡單的數據庫引擎)中被應用而得名,它與BKDRHash思想一致,只是種子不同而已。  
template<class T>  
size_t SDBMHash(const T *str)  
{  
    register size_t hash = 0;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash = 65599 * hash + ch;         
        //hash = (size_t)ch + (hash << 6) + (hash << 16) - hash;  
    }  
    return hash;  
}  
/// @brief RS Hash Function  
/// @detail 因Robert Sedgwicks在其《Algorithms in C》一書中展示而得名。  
template<class T>  
size_t RSHash(const T *str)  
{  
    register size_t hash = 0;  
    size_t magic = 63689;     
    while (size_t ch = (size_t)*str++)  
    {  
        hash = hash * magic + ch;  
        magic *= 378551;  
    }  
    return hash;  
}  
/// @brief AP Hash Function  
/// @detail 由Arash Partow發明的一種hash算法。  
template<class T>  
size_t APHash(const T *str)  
{  
    register size_t hash = 0;  
    size_t ch;  
    for (long i = 0; ch = (size_t)*str++; i++)  
    {  
        if ((i & 1) == 0)  
        {  
            hash ^= ((hash << 7) ^ ch ^ (hash >> 3));  
        }  
        else  
        {  
            hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));  
        }  
    }  
    return hash;  
}  
/// @brief JS Hash Function  
/// 由Justin Sobel發明的一種hash算法。  
template<class T>  
size_t JSHash(const T *str)  
{  
    if(!*str)        // 這是由本人添加,以保證空字符串返回哈希值0  
        return 0;  
    register size_t hash = 1315423911;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash ^= ((hash << 5) + ch + (hash >> 2));  
    }  
    return hash;  
}  
/// @brief DEK Function  
/// @detail 本算法是由於Donald E. Knuth在《Art Of Computer Programming Volume 3》中展示而得名。  
template<class T>  
size_t DEKHash(const T* str)  
{  
    if(!*str)        // 這是由本人添加,以保證空字符串返回哈希值0  
        return 0;  
    register size_t hash = 1315423911;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash = ((hash << 5) ^ (hash >> 27)) ^ ch;  
    }  
    return hash;  
}  
/// @brief FNV Hash Function  
/// @detail Unix system系統中使用的一種著名hash算法,後來微軟也在其hash_map中實現。  
template<class T>  
size_t FNVHash(const T* str)  
{  
    if(!*str)   // 這是由本人添加,以保證空字符串返回哈希值0  
        return 0;  
    register size_t hash = 2166136261;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash *= 16777619;  
        hash ^= ch;  
    }  
    return hash;  
}  
/// @brief DJB Hash Function  
/// @detail 由Daniel J. Bernstein教授發明的一種hash算法。  
template<class T>  
size_t DJBHash(const T *str)  
{  
    if(!*str)   // 這是由本人添加,以保證空字符串返回哈希值0  
        return 0;  
    register size_t hash = 5381;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash += (hash << 5) + ch;  
    }  
    return hash;  
}  
/// @brief DJB Hash Function 2  
/// @detail 由Daniel J. Bernstein 發明的另一種hash算法。  
template<class T>  
size_t DJB2Hash(const T *str)  
{  
    if(!*str)   // 這是由本人添加,以保證空字符串返回哈希值0  
        return 0;  
    register size_t hash = 5381;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash = hash * 33 ^ ch;  
    }  
    return hash;  
}  
/// @brief PJW Hash Function  
/// @detail 本算法是基於AT&T貝爾實驗室的Peter J. Weinberger的論文而發明的一種hash算法。  
template<class T>  
size_t PJWHash(const T *str)  
{  
    static const size_t TotalBits       = sizeof(size_t) * 8;  
    static const size_t ThreeQuarters   = (TotalBits  * 3) / 4;  
    static const size_t OneEighth       = TotalBits / 8;  
    static const size_t HighBits        = ((size_t)-1) << (TotalBits - OneEighth);      
      
    register size_t hash = 0;  
    size_t magic = 0;     
    while (size_t ch = (size_t)*str++)  
    {  
        hash = (hash << OneEighth) + ch;  
        if ((magic = hash & HighBits) != 0)  
        {  
            hash = ((hash ^ (magic >> ThreeQuarters)) & (~HighBits));  
        }  
    }  
    return hash;  
}  
/// @brief ELF Hash Function  
/// @detail 由於在Unix的Extended Library Function被附帶而得名的一種hash算法,它其實就是PJW Hash的變形。  
template<class T>  
size_t ELFHash(const T *str)  
{  
    static const size_t TotalBits       = sizeof(size_t) * 8;  
    static const size_t ThreeQuarters   = (TotalBits  * 3) / 4;  
    static const size_t OneEighth       = TotalBits / 8;  
    static const size_t HighBits        = ((size_t)-1) << (TotalBits - OneEighth);      
    register size_t hash = 0;  
    size_t magic = 0;  
    while (size_t ch = (size_t)*str++)  
    {  
        hash = (hash << OneEighth) + ch;  
        if ((magic = hash & HighBits) != 0)  
        {  
            hash ^= (magic >> ThreeQuarters);  
            hash &= ~magic;  
        }         
    }  
    return hash;  
}

我對這些hash的散列質量及效率作了一個簡單測試,測試結果如下:

測試1:對100000個由大小寫字母與數字隨機的ANSI字符串(無重複,每個字符串最大長度不超過64字符)進行散列:

wKiom1cz2lri65X7AABGb8mHxUg591.png

測試2:對100000個由任意UNICODE組成隨機字符串(無重複,每個字符串最大長度不超過64字符)進行散列:

wKiom1cz2m3CGWupAAA_kO0lj-Y988.png

測試3:對1000000個隨機ANSI字符串(無重複,每個字符串最大長度不超過64字符)進行散列:

wKioL1cz216zMSkWAAA1geUEU4M716.png

結論:也許是我的樣本存在一些特殊性,在對ASCII碼字符串進行散列時,PJW與ELF Hash(它們其實是同一種算法)無論是質量還是效率,都相當糟糕;例如:"b5"與“aE",這兩個字符串按照PJW散列出來的hash值就是一樣的。 另外,其它幾種依靠異或來散列的哈希函數,如:JS/DEK/DJB Hash,在對字母與數字組成的字符串的散列效果也不怎麼好。相對而言,還是BKDR與SDBM這類簡單的Hash效率與效果更好。

其他

作者:icefireelf

出處:http://blog.csdn.net/icefireelf/article/details/5796529



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章