深入剖析JSP和Servlet對中文的處理

世界上的各地區都有本地的語言。地區差異直接導致了語言環境的差異。在開發一個國際化程序的過程中,處理語言問題就顯得很重要了。

  這是一個世界範圍內都存在的問題,所以,Java提供了世界性的解決方法。本文描述的方法是用於處理中文的,但是,推而廣之,對於處理世界上其它國家和地區的語言同樣適用。

  漢字是雙字節的。所謂雙字節是指一個雙字要佔用兩個BYTE的位置(即16位),分別稱爲高位和低位。中國規定的漢字編碼爲GB2312,這是強制性的,目前幾乎所有的能處理中文的應用程序都支持GB2312GB2312包括了一二級漢字和9區符號,高位從0xa10xfe,低位也是從0xa10xfe,其中,漢字的編碼範圍爲0xb0a10xf7fe

  另外有一種編碼,叫做GBK,但這是一份規範,不是強制的。GBK提供了20902個漢字,它兼容GB2312,編碼範圍爲0x81400xfefeGBK中的所有字符都可以一一映射到Unicode 2.0

  在不久的將來,中國會頒佈另一種標準:GB18030-2000GBK2K)。它收錄了藏、蒙等少數民族的字型,從根本上解決了字位不足的問題。注意:它不再是定長的。其二字節部份與GBK兼容,四字節部分是擴充的字符、字形。它的首字節和第三字節從0x810xfe,二字節和第四字節從0x300x39

  本文不打算介紹Unicode,有興趣的可以瀏覽“http://www.unicode.org/”查看更多的信息。Unicode有一個特性:它包括了世界上所有的字符字形。所以,各個地區的語言都可以建立與Unicode的映射關係,而Java正是利用了這一點以達到異種語言之間的轉換。

  在JDK中,與中文相關的編碼有:

  表 JDK中與中文相關的編碼列表

編碼名稱

說明

ASCII

7位,與ascii7相同

ISO8859-1

8-位,與 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同

GB2312-80

16位,與gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同

GBK

與MS936相同,注意:區分大小寫

UTF8

與UTF-8相同

GB18030

與cp1392、1392相同,目前支持的JDK很少


  在實際編程時,接觸得比較多的是GB2312(GBK)和ISO8859-1。

  爲什麼會有“?”號

  上文說過,異種語言之間的轉換是通過Unicode來完成的。假設有兩種不同的語言A和B,轉換的步驟爲:先把A轉化爲Unicode,再把Unicode轉化爲B。

  舉例說明。有GB2312中有一個漢字“李”,其編碼爲“C0EE”,欲轉化爲ISO8859-1編碼。步驟爲:先把“李”字轉化爲Unicode,得到“674E”,再把“674E”轉化爲ISO8859-1字符。當然,這個映射不會成功,因爲ISO8859-1中根本就沒有與“674E”對應的字符。

  當映射不成功時,問題就發生了!當從某語言向Unicode轉化時,如果在某語言中沒有該字符,得到的將是Unicode的代碼“/uffffd”(“/u”表示是Unicode編碼,)。而從Unicode向某語言轉化時,如果某語言沒有對應的字符,則得到的是“0x3f”(“?”)。這就是“?”的由來。

  例如:把字符流buf =“0x80 0x40 0xb0 0xa1”進行new String(buf, "gb2312")操作,得到的結果是“/ufffd/u554a”,再println出來,得到的結果將是“?啊”,因爲“0x80 0x40”是GBK中的字符,在GB2312中沒有。

  再如,把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"進行new String (buf.getBytes("GBK"))操作,得到的結果是“3fa8aca8a6463fa8b4”,其中,“/u00d6”在“GBK”中沒有對應的字符,得到“3f”,“/u00ec”對應着“a8ac”,“/u00e9”對應着“a8a6”,“0046”對應着“46”(因爲這是ASCII字符),“/u00bb”沒找到,得到“3f”,最後,“/u00f9”對應着“a8b4”。把這個字符串println一下,得到的結果是“?ìéF?ù”。看到沒?這裏並不全是問號,因爲GBK與Unicode映射的內容中除了漢字外還有字符,本例就是最好的明證。

  所以,在漢字轉碼時,如果發生錯亂,得到的不一定都是問號噢!不過,錯了終究是錯了,50步和100步並沒有質的差別。

  或者會問:如果源字符集中有,而Unicode中沒有,結果會如何?回答是不知道。因爲我手頭沒有能做這個測試的源字符集。但有一點是肯定的,那就是源字符集不夠規範。在Java中,如果發生這種情況,是會拋出異常的。


  在實際編程時,接觸得比較多的是GB2312(GBK)和ISO8859-1。

  爲什麼會有“?”號

  上文說過,異種語言之間的轉換是通過Unicode來完成的。假設有兩種不同的語言A和B,轉換的步驟爲:先把A轉化爲Unicode,再把Unicode轉化爲B。

  舉例說明。有GB2312中有一個漢字“李”,其編碼爲“C0EE”,欲轉化爲ISO8859-1編碼。步驟爲:先把“李”字轉化爲Unicode,得到“674E”,再把“674E”轉化爲ISO8859-1字符。當然,這個映射不會成功,因爲ISO8859-1中根本就沒有與“674E”對應的字符。

  當映射不成功時,問題就發生了!當從某語言向Unicode轉化時,如果在某語言中沒有該字符,得到的將是Unicode的代碼“/uffffd”(“/u”表示是Unicode編碼,)。而從Unicode向某語言轉化時,如果某語言沒有對應的字符,則得到的是“0x3f”(“?”)。這就是“?”的由來。

  例如:把字符流buf =“0x80 0x40 0xb0 0xa1”進行new String(buf, "gb2312")操作,得到的結果是“/ufffd/u554a”,再println出來,得到的結果將是“?啊”,因爲“0x80 0x40”是GBK中的字符,在GB2312中沒有。

  再如,把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"進行new String (buf.getBytes("GBK"))操作,得到的結果是“3fa8aca8a6463fa8b4”,其中,“/u00d6”在“GBK”中沒有對應的字符,得到“3f”,“/u00ec”對應着“a8ac”,“/u00e9”對應着“a8a6”,“0046”對應着“46”(因爲這是ASCII字符),“/u00bb”沒找到,得到“3f”,最後,“/u00f9”對應着“a8b4”。把這個字符串println一下,得到的結果是“?ìéF?ù”。看到沒?這裏並不全是問號,因爲GBK與Unicode映射的內容中除了漢字外還有字符,本例就是最好的明證。

  所以,在漢字轉碼時,如果發生錯亂,得到的不一定都是問號噢!不過,錯了終究是錯了,50步和100步並沒有質的差別。
 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章