一、漢字編碼的種類
漢字編碼中現在主要用到的有三類，包括GBK，GB2312和Big5。
1、GB2312又稱國標碼，由國家標準總局發佈，1981年5月1日實施，通行於大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規範，當然也包括其他的符號、字母、日文假名等，共7445個圖形字符，其中漢字佔6763個。我們平時說6768個漢字，實際上裏邊有5個編碼爲空白，所以總共有6763個漢字。
GB2312規定“對任意一個圖形字符都採用兩個字節表示，每個字節均採用七位編碼表示”，習慣上稱第一個字節爲“高字節”，第二個字節爲“低字節”。GB2312中漢字的編碼範圍爲，第一字節0xB0-0xF7(對應十進制爲176-247)，第二個字節0xA0-0xFE（對應十進制爲160-254）。
GB2312將代碼表分爲94個區，對應第一字節（0xa1-0xfe）；每個區94個位（0xa1-0xfe），對應第二字節，兩個字節的值分別爲區號值和位號值加32（2OH），因此也稱爲區位碼。01-09區爲符號、數字區，16-87區爲漢字區（0xb0-0xf7），10-15區、88-94區是有待進一步標準化的空白區。
2、Big5又稱大五碼，主要爲香港與臺灣使用，即是一個繁體字編碼。每個漢字由兩個字節構成，第一個字節的範圍從0X81－0XFE（即129-255），共126種。第二個字節的範圍不連續，分別爲0X40－0X7E（即64-126），0XA1－0XFE（即161-254），共157種。
3、GBK是GB2312的擴展，是向上兼容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關係我還沒有弄明白，好像是不一致的。GBK中每個漢字仍然包含兩個字節，第一個字節的範圍是0x81-0xFE（即129-254），第二個字節的範圍是0x40-0xFE（即64-254）。GBK中有碼位23940個，包含漢字21003個。
表1 漢字編碼範圍
|
名稱
|
第一字節
|
第二字節
|
|
GB2312
|
0xB0-0xF7(176-247)
|
0xA0-0xFE（160-254）
|
|
GBK
|
0x81-0xFE（129-254）
|
0x40-0xFE（64-254）
|
|
Big5
|
0x81-0xFE（129-255）
|
0x40-0x7E（64-126）
0xA1－0xFE（161-254）
|
二、對漢字進行hash
爲了處理漢字的方便，在查找漢字的時候，我們通常會用到hash的方法，那怎麼來確定一個漢字位置呢？這就和每種編碼的排列有關了，這裏主要給出一種hash函數的策略。
對於GB2312編碼，設輸入的漢字爲GBword，我們可以採用公式(C1-176)*94 + (C2-161)確定GBindex。其中，C1表示第一字節，C2表示第二字節。具體如下：
GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;
之所以用unsigned char類型，是因爲char是一個字節，如果用unsigend int，因爲int是4個字節的，所以會造成擴展，導致錯誤。
對於GBK編碼，設輸入的漢字爲GBKword，則可以採用公式 index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)，其中ch1是第一字節，ch2是第二字節。
具體的，
GBKindex = ((unsigned char)GBKword[0]-129)*190 +
((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;
三、怎樣判斷一個漢字的是什麼編碼
直接根據漢字的編碼範圍判斷，對於GB2312和GBK可用下面兩個程序實現。
1、判斷是否是GB2312
bool isGBCode(const string& strIn)
{
unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2)
{
ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)
return true;
else return false;
}
else return false;
}
2、判斷是否是GBK編碼
bool isGBKCode(const string& strIn)
{
unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2)
{
ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)
return true;
else return false;
}
else return false;
}
3、對於Big5
它的範圍爲：高字節從0xA0到0xFE，低字節從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個漢字是否是BIG5編碼，可以如上對字符的編碼範圍判斷即可。如何定位呢？那麼也想象所有編碼排列爲一個二維座標，縱座標是高字節，橫座標是低字節。這樣一行上的漢字個數：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那麼定位算法分兩塊，爲:
if 0x40<=ch2<=0x7E: #is big5 char
index=((ch1-0xA1)*157+(ch2-0x40))*2
elif 0xA1<=ch2<=0xFE: #is big5 char
index=((ch1-0xA1)*157+(ch2-0xA1+63))*2
對於第二塊，計算偏移量時因爲有兩塊數值，所以在計算後面一段值時，不要忘了前面還有一段值。0x7E-0x40+1=63。
四、如果判斷一個字符是西文字符還是中文字符
大家知道西文字符主要是指ASCII碼，它用一個字節表示。且這個字符轉換成數字之後，該數字是大於0的，而漢字是兩個字節的，第一個字節的轉化爲數字之後應該是小於0的，因此可以根據每個字節轉化爲數字之後是否小於0，判斷它是否是漢字。
例如，設輸入字爲strin，則，
If (strin.at(0) < 0)
cout << ”是漢字” << endl;
else cout << ”不是漢字” << endl;