hash_map原理

http://blog.163.com/liuruigong_lrg/blog/static/27370306200711334341781/

詳細解說STL hash_map系列

 

0 爲什麼需要hash_map

用過map吧?map提供一個很常用的功能,那就是提供key-value的存儲和查找功能。例如,我要記錄一個人名和相應的存儲,而且隨時增加,要快速查找和修改:
嶽不羣-華山派掌門人,人稱君子劍
張三丰-武當掌門人,太極拳創始人
東方不敗-第一高手,葵花寶典
...
這些信息如果保存下來並不複雜,但是找起來比較麻煩。例如我要找"張三丰"的信息,最傻的方法就是取得所有的記錄,然後按照名字一個一個比較。如果要速度快,就需要把這些記錄按照字母順序排列,然後按照二分法查找。但是增加記錄的時候同時需要保持記錄有序,因此需要插入排序。考慮到效率,這就需要用到二叉樹。講下去會沒完沒了,如果你使用STL 的map容器,你可以非常方便的實現這個功能,而不用關心其細節。關於map的數據結構細節,感興趣的朋友可以參看學習STL map, STL set之數據結構基礎。看看map的實現:
 <map>
<string>
std;
...
map<string, string> namemap;


namemap[""]="";
namemap[""]="";
namemap[""]="";
...


(namemap.find("") != namemap.end()){
...
}
不覺得用起來很easy嗎?而且效率很高,100萬條記錄,最多也只要20次的string.compare的比較,就能找到你要找的記錄;200萬條記錄事,也只要用21次的比較。

速度永遠都滿足不了現實的需求。如果有100萬條記錄,我需要頻繁進行搜索時,20次比較也會成爲瓶頸,要是能降到一次或者兩次比較是否有可能?而且當記錄數到200萬的時候也是一次或者兩次的比較,是否有可能?而且還需要和map一樣的方便使用。

答案是肯定的。這時你需要has_map. 雖然hash_map目前並沒有納入C++ 標準模板庫中,但幾乎每個版本的STL都提供了相應的實現。而且應用十分廣泛。在正式使用hash_map之前,先看看hash_map的原理。

1 數據結構:hash_map原理

這是一節讓你深入理解hash_map的介紹,如果你只是想囫圇吞棗,不想理解其原理,你倒是可以略過這一節,但我還是建議你看看,多瞭解一些沒有壞處。

hash_map基於hash table(哈希表)。哈希表最大的優點,就是把數據的存儲和查找消耗的時間大大降低,幾乎可以看成是常數時間;而代價僅僅是消耗比較多的內存。然而在當前可利用內存越來越多的情況下,用空間換時間的做法是值得的。另外,編碼比較容易也是它的特點之一。

其基本原理是:使用一個下標範圍比較大的數組來存儲元素。可以設計一個函數(哈希函數,也叫做散列函數),使得每個元素的關鍵字都與一個函數值(即數組下標,hash值)相對應,於是用這個數組單元來存儲這個元素;也可以簡單的理解爲,按照關鍵字爲每一個元素“分類”,然後將這個元素存儲在相應“類”所對應的地方,稱爲桶。

但是,不能夠保證每個元素的關鍵字與函數值是一一對應的,因此極有可能出現對於不同的元素,卻計算出了相同的函數值,這樣就產生了“衝突”,換句話說,就是把不同的元素分在了相同的“類”之中。 總的來說,“直接定址”與“解決衝突”是哈希表的兩大特點。

hash_map,首先分配一大片內存,形成許多桶。是利用hash函數,對key進行映射到不同區域(桶)進行保存。其插入過程是:

  1. 得到key
  2. 通過hash函數得到hash值
  3. 得到桶號(一般都爲hash值對桶數求模)
  4. 存放key和value在桶內。
其取值過程是:
  1. 得到key
  2. 通過hash函數得到hash值
  3. 得到桶號(一般都爲hash值對桶數求模)
  4. 比較桶的內部元素是否與key相等,若都不相等,則沒有找到。
  5. 取出相等的記錄的value。
hash_map中直接地址用hash函數生成,解決衝突,用比較函數解決。這裏可以看出,如果每個桶內部只有一個元素,那麼查找的時候只有一次比較。當許多桶內沒有值時,許多查詢就會更快了(指查不到的時候).

由此可見,要實現哈希表, 和用戶相關的是:hash函數和比較函數。這兩個參數剛好是我們在使用hash_map時需要指定的參數。

2 hash_map 使用

2.1 一個簡單實例

不要着急如何把"嶽不羣"用hash_map表示,我們先看一個簡單的例子:隨機給你一個ID號和ID號相應的信息,ID號的範圍是1~2的31次方。如何快速保存查找。
 <hash_map>
<string>
std;
main(){
hash_map<, string> mymap;
mymap[9527]="";
mymap[1000000]="";
mymap[10000]="";
...
(mymap.find(10000) != mymap.end()){
...
}
夠簡單,和map使用方法一樣。這時你或許會問?hash函數和比較函數呢?不是要指定麼?你說對了,但是在你沒有指定hash函數和比較函數的時候,你會有一個缺省的函數,看看hash_map的聲明,你會更加明白。下面是SGI STL的聲明:
 < _Key,  _Tp,  _HashFcn = hash<_Key>,
_EqualKey = equal_to<_Key>,
_Alloc = __STL_DEFAULT_ALLOCATOR(_Tp) >
hash_map
{
...
}
也就是說,在上例中,有以下等同關係:
...
hash_map<, string> mymap;

hash_map<, string, hash<>, equal_to<> > mymap;
Alloc我們就不要取關注太多了(希望深入瞭解Allocator的朋友可以參看標準庫 STL :Allocator能做什麼)

2.2 hash_map 的hash函數

hash< int>到底是什麼樣子?看看源碼:
 hash<> {
size_t ()( __x) { __x; }
};
原來是個函數對象。在SGI STL中,提供了以下hash函數:
 hash<*>
hash< *>
hash<>
hash< >
hash< >
hash<>
hash< >
hash<>
hash< >
hash<>
hash< >
也就是說,如果你的key使用的是以上類型中的一種,你都可以使用缺省的hash函數。當然你自己也可以定義自己的hash函數。對於自定義變量,你只能如此,例如對於string,就必須自定義hash函數。例如:
 str_hash{
size_t ()( string& str)
{
__h = 0;
(size_t i = 0 ; i < str.size() ; i ++)
__h = 5*__h + str[i];
size_t(__h);
}
};

str_hash{
size_t ()( string& str)
{
__stl_hash_string(str.c_str());
}
};
在聲明自己的哈希函數時要注意以下幾點:
  1. 使用struct,然後重載operator().
  2. 返回是size_t
  3. 參數是你要hash的key的類型。
  4. 函數是const類型的。
如果這些比較難記,最簡單的方法就是照貓畫虎,找一個函數改改就是了。

現在可以對開頭的"嶽不羣"進行哈希化了 smile . 直接替換成下面的聲明即可:

map<string, string> namemap; 

hash_map<string, string, str_hash> namemap;
其他用法都不用邊。當然不要忘了吧str_hash的聲明以及頭文件改爲hash_map。

你或許會問:比較函數呢?彆着急,這裏就開始介紹hash_map中的比較函數。

2.3 hash_map 的比較函數

在map中的比較函數,需要提供less函數。如果沒有提供,缺省的也是less< Key> 。在hash_map中,要比較桶內的數據和key是否相等,因此需要的是是否等於的函數:equal_to< Key> 。先看看equal_to的源碼:


< _Arg1, _Arg2, _Result>
binary_function {
_Arg1 first_argument_type;
_Arg2 second_argument_type;
_Result result_type;
};

< _Tp>
equal_to : binary_function<_Tp,_Tp,>
{
()( _Tp& __x, _Tp& __y) { __x == __y; }
};
如果你使用一個自定義的數據類型,如struct mystruct, 或者const char* 的字符串,如何使用比較函數?使用比較函數,有兩種方法. 第一種是:重載==操作符,利用equal_to;看看下面的例子:
 mystruct{
iID;
len;
==( mystruct & my) {
(iID==my.iID) && (len==my.len) ;
}
};
這樣,就可以使用equal_to< mystruct>作爲比較函數了。另一種方法就是使用函數對象。自定義一個比較函數體:
 compare_str{
()( * p1, *p2) {
strcmp(p1,p2)==0;
}
};
有了compare_str,就可以使用hash_map了。
 hash_map< *, string, hash< *>, compare_str> StrIntMap;
StrIntMap namemap;
namemap[""]="";
namemap[""]="";
namemap[""]="";

2.4 hash_map 函數

hash_map的函數和map的函數差不多。具體函數的參數和解釋,請參看:STL 編程手冊:Hash_map,這裏主要介紹幾個常用函數。
  1. hash_map(size_type n) 如果講究效率,這個參數是必須要設置的。n 主要用來設置hash_map 容器中hash桶的個數。桶個數越多,hash函數發生衝突的概率就越小,重新申請內存的概率就越小。n越大,效率越高,但是內存消耗也越大。
  2. const_iterator find(const key_type& k) const. 用查找,輸入爲鍵值,返回爲迭代器。
  3. data_type& operator[](const key_type& k) . 這是我最常用的一個函數。因爲其特別方便,可像使用數組一樣使用。不過需要注意的是,當你使用[key ]操作符時,如果容器中沒有key元素,這就相當於自動增加了一個key元素。因此當你只是想知道容器中是否有key元素時,你可以使用find。如果你希望插入該元素時,你可以直接使用[]操作符。
  4. insert 函數。在容器中不包含key值時,insert函數和[]操作符的功能差不多。但是當容器中元素越來越多,每個桶中的元素會增加,爲了保證效率, hash_map會自動申請更大的內存,以生成更多的桶。因此在insert以後,以前的iterator有可能是不可用的。
  5. erase 函數。在insert的過程中,當每個桶的元素太多時,hash_map可能會自動擴充容器的內存。但在sgi stl中是erase並不自動回收內存。因此你調用erase後,其他元素的iterator還是可用的。

 

3 相關hash容器

hash 容器除了hash_map之外,還有hash_set, hash_multimap, has_multiset, 這些容器使用起來和set, multimap, multiset的區別與hash_map和map的區別一樣,我想不需要我一一細說了吧。

4 其他

這裏列幾個常見問題,應該對你理解和使用hash_map比較有幫助。

4.1 hash_map和map的區別在哪裏?

  • 構造函數。hash_map需要hash函數,等於函數;map只需要比較函數(小於函數).
  • 存儲結構。hash_map採用hash表存儲,map一般採用紅黑樹(RB Tree)實現。因此其memory數據結構是不一樣的。

4.2 什麼時候需要用hash_map,什麼時候需要用map?

總體來說,hash_map 查找速度會比map快,而且查找速度基本和數據數據量大小,屬於常數級別;而map的查找速度是log(n)級別。並不一定常數就比log(n)小, hash還有hash函數的耗時,明白了吧,如果你考慮效率,特別是在元素達到一定數量級時,考慮考慮hash_map。但若你對內存使用特別嚴格,希望程序儘可能少消耗內存,那麼一定要小心,hash_map可能會讓你陷入尷尬,特別是當你的hash_map對象特別多時,你就更無法控制了,而且 hash_map的構造速度較慢。

現在知道如何選擇了嗎?權衡三個因素: 查找速度, 數據量, 內存使用。

這裏還有個關於hash_map和map的小故事,看看:http://dev.csdn.net/Develop/article/14/14019.shtm

 

4.3 如何在hash_map中加入自己定義的類型?

你只要做兩件事, 定義hash函數,定義等於比較函數。下面的代碼是一個例子:
-bash-2.05b$ cat my.cpp
<hash_map>
<string>
<iostream>

std;

ClassA{
:
ClassA( a):c_a(a){}
getvalue() { c_a;}
setvalue( a){c_a;}
:
c_a;
};


hash_A{
size_t ()( ClassA & A){

A.getvalue();
}
};


equal_A{
()( ClassA & a1, ClassA & a2){
a1.getvalue() == a2.getvalue();
}
};

main()
{
hash_map<ClassA, string, hash_A, equal_A> hmap;
ClassA a1(12);
hmap[a1]="";
ClassA a2(198877);
hmap[a2]="";

cout<<hmap[a1]<<endl;
cout<<hmap[a2]<<endl;
0;
}
-bash-2.05b$ make my
c++ -O -pipe -march=pentiumpro my.cpp -o my
-bash-2.05b$ ./my
I am 12
I am 198877

4.4如何用hash_map替換程序中已有的map容器?

這個很容易,但需要你有良好的編程風格。建議你儘量使用typedef來定義你的類型:
 map<Key, Value> KeyMap;
當你希望使用hash_map來替換的時候,只需要修改:
 hash_map<Key, Value> KeyMap;
其他的基本不變。當然,你需要注意是否有Key類型的hash函數和比較函數。

4.5爲什麼hash_map不是標準的?

具體爲什麼不是標準的,我也不清楚,有個解釋說在STL加入標準C++之時,hash_map系列當時還沒有完全實現,以後應該會成爲標準。如果誰知道更合理的解釋,也希望告訴我。但我想表達的是,正是因爲hash_map不是標準的,所以許多平臺上安裝了g++編譯器,不一定有hash_map的實現。我就遇到了這樣的例子。因此在使用這些非標準庫的時候,一定要事先測試。另外,如果考慮到平臺移植,還是少用爲佳。

4.6 有學習使用hash_map的建議嗎?

hash中文是哈希,也成爲散列,聽見別人說散列容器不要埋怨自己孤陋寡聞。瞭解hash系列,你還可以看看這篇文章:effective STL 25: 熟悉非標準散列容器, 另外建議查看源代碼。如果還有問題,那麼你可以在STL論壇上提問,會有高手回答你的。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章