unicode 與 utf-8

unicode

計算機的世界是二進制的世界,無論文字音頻傳輸存儲之時都要落實到二進制上。而起源於西方的計算機技術自然深根於他們的文化,於是最初的ascii碼基本只是西方的文字編碼集。隨着計算機的普及,各個國家各個民族基本都爲自己的文字創立了字符集。多而雜的規則爲數據的傳輸交換帶來巨大困難。是時候要統一字符集了。

unicode應運而生。unicode旨在爲所有字符統一編碼。

unicode的UCS2標準用兩個字集,16位來表示字符,因此它的容量是216個。

uft-8

在大家都使用unicode的時候,英文字母和符號由原本ascii下的一個字節變成兩個字節,這無疑是一種浪費。於是UTF(unicode transfer format)這種變長編碼又出現了,它專門爲傳輸而設計。unicode相當一個map,爲每個字符賦一個編碼。而utf則對這些編碼再次編碼,以便於傳輸存儲。utf-8表示8位的編碼格式,還有uft-16,utf-32。

unicode與uft-8之間的轉換關係

unicode編碼爲utf-8時規則如下:

  • 對於0-127之間的編碼,以一個字節表示,即其二進制編碼。
  • 128及以上,如果編碼後的uft-8是n個字節,則第一個字節的編碼起始爲連續的n個1和一個0,後續字節皆以10開頭,剩餘部分纔是存放真實值的地方,這裏說的n個1+0 和 10就像是來描述協議的暗號一樣。
unicode 編碼範圍(binary) uft-8(binary)
0~0111 1111 0xxx xxxx
0000 1000 0000 ~ 0111 1111 1111 110x xxxx 10xx xxxx
0000 1000 0000 0000 ~ 0111 1111 1111 1111 1110 xxxx 10xx xxx 10xx xxxx

utf-8以八個字節爲一個單位編碼,其中字節符合 ^1{2,}0 規則的是開始字節,一個開始字節後面跟的隨1-6個輔助字節,每個輔助字節以10開頭,所以可以承載的信息是6位。那麼我們可以輕易計算出utf-8各個變長編碼組的容量範圍:

  1. 一個n個字集編碼的 utf-8 的有效位是 (8-n-1)+n*6,得出上限值M。
    2.用1的方式計算出 n-1 個字集編碼表達的上限N。

所以n個utf-8字節編碼表達的unicode值範圍是,N+1~M。經計算:

utf-8 字節數(dec) 編碼值範圍(dec)
1 0-127
2 128-2047
3 2048-65535
4 65536-2097151

舉一個例子來描述這種轉換規則:

漢字“中”的unicode編碼十六進制數爲:4e2d,十進制爲:20013, 二進制爲:0100 1110 0010 1101,區間在2048-65535,所以是三個字節。
所以將其二進制填充進 1110 xxxx 10xx xxx 10xx xxxx的x中,得出的結果是1110 0100,1011 1000,1010 1101。得出utf-8十六進制爲 e4 b8 ad。

javascript中的unicode和utf-8

js中escape是對字符進行unicode編碼,而encodeURI和encodeURIComponent是utf-8編碼。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章