轉載於：哈哈的博客 2006-07-28 15:52:16
|
| ||||
3. 幾種誤解，以及亂碼產生的原因和解決辦法
3.1 容易產生的誤解
| 對編碼的誤解 | |
| 誤解一 | 在將“字節串”轉化成“UNICODE 字符串”時，比如在讀取文本文件時，或者通過網絡傳輸文本時，容易將“字節串”簡單地作爲單字節字符串，採用每“一個字節”就是“一個字符”的方法進行轉化。 而實際上，在非英文的環境中，應該將“字節串”作爲 ANSI 字符串，採用適當的編碼來得到 UNICODE 字符串，有可能“多個字節”才能得到“一個字符”。 通常，一直在英文環境下做開發的程序員們，容易有這種誤解。 |
| 誤解二 | 在 DOS，Windows 98 等非 UNICODE 環境下，字符串都是以 ANSI 編碼的字節形式存在的。這種以字節形式存在的字符串，必須知道是哪種編碼才能被正確地使用。這使我們形成了一個慣性思維：“字符串的編碼”。 當 UNICODE 被支持後，Java 中的 String 是以字符的“序號”來存儲的，不是以“某種編碼的字節”來存儲的，因此已經不存在“字符串的編碼”這個概念了。只有在“字符串”與“字節串”轉化時，或者，將一個“字節串”當成一個 ANSI 字符串時，纔有編碼的概念。 不少的人都有這個誤解。 |
第一種誤解，往往是導致亂碼產生的原因。第二種誤解，往往導致本來容易糾正的亂碼問題變得更復雜。
 | |||
|
3.2 常用的編碼簡介
簡單介紹一下常用的編碼規則，爲後邊的章節做一個準備。在這裏，我們根據編碼規則的特點，把所有的編碼分成三類：
| 分類 | 編碼標準 | 說明 |
| 單字節字符編碼 | ISO-8859-1 | 最簡單的編碼規則，每一個字節直接作爲一個 UNICODE 字符。比如，[0xD6, 0xD0] 這兩個字節，通過 iso-8859-1 轉化爲字符串時，將直接得到 [0x00D6, 0x00D0] 兩個 UNICODE 字符，即 "中"。 反之，將 UNICODE 字符串通過 iso-8859-1 轉化爲字節串時，只能正常轉化 0~255 範圍的字符。 |
| ANSI 編碼 | GB2312, BIG5, Shift_JIS, ISO-8859-2 …… |
把 UNICODE 字符串通過 ANSI 編碼轉化爲“字節串”時，根據各自編碼的規定，一個 UNICODE 字符可能轉化成一個字節或多個字節。 反之，將字節串轉化成字符串時，也可能多個字節轉化成一個字符。比如，[0xD6, 0xD0] 這兩個字節，通過 GB2312 轉化爲字符串時，將得到 [0x4E2D] 一個字符，即 '中' 字。 “ANSI 編碼”的特點： 1. 這些“ANSI 編碼標準”都只能處理各自語言範圍之內的 UNICODE 字符。 2. “UNICODE 字符”與“轉換出來的字節”之間的關係是人爲規定的。 |
| UNICODE 編碼 | UTF-8, UTF-16, UnicodeBig …… |
與“ANSI 編碼”類似的，把字符串通過 UNICODE 編碼轉化成“字節串”時，一個 UNICODE 字符可能轉化成一個字節或多個字節。 與“ANSI 編碼”不同的是： 1. 這些“UNICODE 編碼”能夠處理所有的 UNICODE 字符。 2. “UNICODE 字符”與“轉換出來的字節”之間是可以通過計算得到的。 |
在這裏，我們可以看到，前面所講的“誤解一”，即採用每“一個字節”就是“一個字符”的轉化方法，實際上也就等同於採用 iso-8859-1 進行轉化。因此，我們常常使用 bytes = string.getBytes("iso-8859-1") 來進行逆向操作，得到原始的“字節串”。然後再使用正確的 ANSI 編碼，比如 string = new String(bytes, "GB2312")，來得到正確的“UNICODE 字符串”。
| |||
|
3.3 非 UNICODE 程序在不同語言環境間移植時的亂碼
非 UNICODE 程序中的字符串，都是以某種 ANSI 編碼形式存在的。如果程序運行時的語言環境與開發時的語言環境不同，將會導致 ANSI 字符串的顯示失敗。
比如，在日文環境下開發的非 UNICODE 的日文程序界面，拿到中文環境下運行時，界面上將顯示亂碼。如果這個日文程序界面改爲採用 UNICODE 來記錄字符串，那麼當在中文環境下運行時，界面上將可以顯示正常的日文。
由於客觀原因，有時候我們必須在中文操作系統下運行非 UNICODE 的日文軟件，這時我們可以採用一些工具，比如，南極星，AppLocale 等，暫時的模擬不同的語言環境。
| |||
|
3.4 網頁提交字符串
當頁面中的表單提交字符串時，首先把字符串按照當前頁面的編碼，轉化成字節串。然後再將每個字節轉化成 "%XX" 的格式提交到 Web 服務器。比如，一個編碼爲 GB2312 的頁面，提交 "中" 這個字符串時，提交給服務器的內容爲 "%D6%D0"。
在服務器端，Web 服務器把收到的 "%D6%D0" 轉化成 [0xD6, 0xD0] 兩個字節，然後再根據 GB2312 編碼規則得到 "中" 字。
在 Tomcat 服務器中，request.getParameter() 得到亂碼時，常常是因爲前面提到的“誤解一”造成的。默認情況下，當提交 "%D6%D0" 給 Tomcat 服務器時，request.getParameter() 將返回 [0x00D6, 0x00D0] 兩個 UNICODE 字符，而不是返回一個 "中" 字符。因此，我們需要使用 bytes = string.getBytes("iso-8859-1") 得到原始的字節串，再用 string = new String(bytes, "GB2312") 重新得到正確的字符串 "中"。
| |||
|
3.5 從數據庫讀取字符串
通過數據庫客戶端（比如 ODBC 或 JDBC）從數據庫服務器中讀取字符串時，客戶端需要從服務器獲知所使用的 ANSI 編碼。當數據庫服務器發送字節流給客戶端時，客戶端負責將字節流按照正確的編碼轉化成 UNICODE 字符串。
如果從數據庫讀取字符串時得到亂碼，而數據庫中存放的數據又是正確的，那麼往往還是因爲前面提到的“誤解一”造成的。解決的辦法還是通過 string = new String( string.getBytes("iso-8859-1"), "GB2312") 的方法，重新得到原始的字節串，再重新使用正確的編碼轉化成字符串。
| |||
|
3.6 電子郵件中的字符串
當一段 Text 或者 HTML 通過電子郵件傳送時，發送的內容首先通過一種指定的字符編碼轉化成“字節串”，然後再把“字節串”通過一種指定的傳輸編碼（Content-Transfer-Encoding）進行轉化得到另一串“字節串”。比如，打開一封電子郵件源代碼，可以看到類似的內容：
| Content-Type: text/plain; charset="gb2312" Content-Transfer-Encoding: base64 sbG+qcrQuqO17cf4yee74bGjz9W7+b3wudzA7dbQ0MQNCg0KvPKzxqO6uqO17cnnsaPW0NDEDQoNCg== |
最常用的 Content-Transfer-Encoding 有 Base64 和 Quoted-Printable 兩種。在對二進制文件或者中文文本進行轉化時，Base64 得到的“字節串”比 Quoted-Printable 更短。在對英文文本進行轉化時，Quoted-Printable 得到的“字節串”比 Base64 更短。
郵件的標題，用了一種更簡短的格式來標註“字符編碼”和“傳輸編碼”。比如，標題內容爲 "中"，則在郵件源代碼中表示爲：
| // 正確的標題格式 Subject: =?GB2312?B?1tA=?= |
其中，
- 第一個“=?”與“?”中間的部分指定了字符編碼，在這個例子中指定的是 GB2312。
- “?”與“?”中間的“B”代表 Base64。如果是“Q”則代表 Quoted-Printable。
- 最後“?”與“?=”之間的部分，就是經過 GB2312 轉化成字節串，再經過 Base64 轉化後的標題內容。
如果“傳輸編碼”改爲 Quoted-Printable，同樣，如果標題內容爲 "中"：
| // 正確的標題格式 Subject: =?GB2312?Q?=D6=D0?= |
如果閱讀郵件時出現亂碼，一般是因爲“字符編碼”或“傳輸編碼”指定有誤，或者是沒有指定。比如，有的發郵件組件在發送郵件時，標題 "中"：
| // 錯誤的標題格式 Subject: =?ISO-8859-1?Q?=D6=D0?= |
這樣的表示，實際上是明確指明瞭標題爲 [0x00D6, 0x00D0]，即 "中"，而不是 "中"。
| |||
|
4. 幾種錯誤理解的糾正
誤解：“ISO-8859-1 是國際編碼？”
非也。iso-8859-1 只是單字節字符集中最簡單的一種，也就是“字節編號”與“UNICODE 字符編號”一致的那種編碼規則。當我們要把一個“字節串”轉化成“字符串”，而又不知道它是哪一種 ANSI 編碼時，先暫時地把“每一個字節”作爲“一個字符”進行轉化，不會造成信息丟失。然後再使用 bytes = string.getBytes("iso-8859-1") 的方法可恢復到原始的字節串。
誤解：“Java 中，怎樣知道某個字符串的內碼？”
Java 中，字符串類 java.lang.String 處理的是 UNICODE 字符串，不是 ANSI 字符串。我們只需要把字符串作爲“抽象的符號的串”來看待。因此不存在字符串的內碼的問題。