utf-8能在所有的語言當中通用的原因以及各種字符編碼的使用

UTF-8的能表示所有字符的原因:UTF-8最大的一個特點,就是它是一種變長的編碼方式。它可以使用1~4個字節表示一個符號,根據不同的符號而變化字節長度。

1、ASCII編碼:用來表示英文,它使用1個字節表示,其中第一位規定爲0,其他7位存儲數據,一共可以表示128個字符。
2、拓展ASCII編碼:用於表示更多的歐洲文字,用8個位存儲數據,一共可以表示256個字符
3、GBK/GB2312/GB18030:表示漢字。GBK/GB2312表示簡體中文,GB18030表示繁體中文。
4、Unicode編碼:包含世界上所有的字符,是一個字符集。
5、UTF-8:是Unicode字符的實現方式之一,它使用1-4個字符表示一個符號,根據不同的符號而變化字節長度

1)對於單字節的符號,字節的第一位設爲0,後面7位爲這個符號的unicode碼。因此對於英語字母,UTF-8編碼和ASCII碼是相同的。
2)對於n字節的符號(n>1),第一個字節的前n位都設爲1,第n+1位設爲0,後面字節的前兩位一律設爲10。剩下的沒有提及的二進制位,全部爲這個符號的unicode碼。

1.ASCII碼
這是美國在19世紀60年代的時候爲了建立英文字符和二進制的關係時制定的編碼規範,它能表示128個字符,其中包括英文字符、阿拉伯數字、西文字符以及32個控制字符。它用一個字節來表示具體的字符,但它只用後7位來表示字符(2^7=128),最前面的一位統一規定爲0。
2.擴展的ASCII碼
原本的ASCII碼對於英文語言的國家是夠用了,但是歐洲國家的一些語言會有拼音,這時7個字節就不夠用了。因此一些歐洲國家就決定,利用字節中閒置的最高位編入新的符號。比如,法語中的é的編碼爲130(二進制10000010)。這樣一來,這些歐洲國家使 用的編碼體系,可以表示最多256個符號。但這時問題也出現了:不同的國家有不同的字母,因此,哪怕它們都使用256個符號的編碼方式,代表的字母卻不一樣。比如,130在法語編碼 中代表了é,在希伯來語編碼中卻代表了字母Gimel (ג),在俄語編碼中又會代表另一個符號。但是不管怎樣,所有這些編碼方式中,0—127表示的符號是一樣的,不一樣的只是128—255的這一段。這個問題就直接促使了Unicode編碼的產生。
3.Unicode符號集
世界上存在着多種編碼方式,同一個二進制數字可以被解釋成不同的符號。因此,要想打開一個文本文件,就必須知道它的編碼方式,否則用錯誤的編碼方式解讀,就會出現亂碼。爲什麼電子郵件常常出現亂碼?就是因爲發信人和收信人使用的編碼方式不一樣。而Unicode就是這樣一種編碼:它包含了世界上所有的符號,並且每一個符號都是獨一無二的。比如,U+0639表示阿拉伯字母Ain,U+0041表示英語的大寫字母A,U+4E25表示漢字“嚴”。具體的符號對應表,可以查詢unicode.org,或者專門的漢字對應表 。很多人都說Unicode編碼,但其實Unicode是一個符號集(世界上所有符號的符號集),而不是一種新的編碼方式。
但是正因爲Unicode包含了所有的字符,而有些國家的字符用一個字節便可以表示,而有些國家的字符要用多個字節才能表示出來。即產生了兩個問題:第一,如果有兩個字節的數據,那計算機怎麼知道這兩個字節是表示一個漢字呢?還是表示兩個英文字母呢?第二,因爲不同字符需要的存儲長度不一樣,那麼如果Unicode規定用2個字節存儲字符,那麼英文字符存儲時前面1個字節都是0,這就大大浪費了存儲空間。
上面兩個問題造成的結果是:1)出現了unicode的多種存儲方式,也就是說有許多種不同的二進制格式,可以用來表示unicode。2)unicode在很長一段時間內無法推廣,直到互聯網的出現。
4.UTF-8
互聯網的普及,強烈要求出現一種統一的編碼方式。UTF-8就是在互聯網上使用最廣的一種unicode的實現方式。其他實現方式還包括UTF-16和UTF-32,不過在互聯網上基本不用。重複一遍,這裏的關係是,UTF-8是Unicode的實現方式之一。
UTF-8最大的一個特點,就是它是一種變長的編碼方式。它可以使用1~4個字節表示一個符號,根據不同的符號而變化字節長度。

5.GBK/GB2312/GB18030
GBK和GB2312都是針對簡體字的編碼,只是GB2312只支持六千多個漢字的編碼,而GBK支持1萬多個漢字編碼。而GB18030是用於繁體字的編碼。漢字存儲時都使用兩個字節來儲存。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章