簡易分析UTF8和UNICODE轉換關係(std::string如何存儲漢字)

首先要強調,耐心看完!

第一:必須知道的是,每個數字 字母 符號 中文 火星文 特殊符號,都有對應的編號,比如在ASCII表中可以找到,字母'A'的編號是65,'%'的編號是37,當然ASCII表中只能找到編號在255以內所對應的數字 字母 符號;而每個中文漢字的編號大多是幾千~幾萬的值;

第二:普及下,所謂的UTF8  UTF16  UTF32,就是在計算機內存中,每個字符最小佔用多少個字節;

UTF8:每個字符最小佔用1字節;(char類型)

UTF16:每個字符最小佔用2字節;(tchar類型)

UTF32:每個字符最小佔用4字節;(還沒用過,不太清楚對應那種類型符號,不過不影響對本文的理解)

補充普及下,什麼是"位":在計算機中,所有的存儲信息都是0和1組成的,通俗點就是二進制存儲,而"1個字節(BYTE)或1個字符(char)"在計算機中佔8個位;

char或byte就是典型的字節表示,比如定義char aData[12]就是定義了"12個元素大小的字符數組或字節數組",char c就是定義"1個字符或1個字節",而每個字節的二進制表示範圍 0000 0000 ~ 1111 11111,若用十六進制表示範圍 0x00 ~ 0xFF,若用十進制表示範圍0 ~ 255;

第三:對於UTF8 UTF16 UTF32來說,每個字符佔用的存儲空間是確定的,即便只是簡單的字符"1",用UTF8表示佔用1字節,用UTF16表示佔用2字節,用UTF32表示則佔用4字節;

=================================

前面提到,每個字母,數字,符號,漢字等,都有相應的編號,而UTF8的1字節,所能表示的編號範圍(二進制 0000 0000 ~ 1111 1111)(十進制 0 ~ 255)顯然無法滿足,所以需要更多的字節來組合表示相應的符號/漢字/特殊符號/各種國家文字等,然而要用多少個UTF8字符來表述呢,當然是把編號進行分段處理啦!

編號的分段規則如下:

編號範圍(十進制表示)	二進制表示範圍	佔用字節數
0 ~ 127	0000 0000 ~ 0111 1111	1字節
128 ~ 2047	11000010 10000000 ~ 11011111 10111111	2字節
2048 ~ 65535	11100010 10000000 10000000 ~ 11101111 10111111 10111111	3字節
65536  ~  ‭2097151‬	11110000 10010000 10000000 10000000‬ ~  111101111 10111111 10111111 10111111	4字節
2097152 ~ ‭67108863‬	11111000 10001000 10000000 10000000 10000000 ~ 11111011 10111111 10111111 10111111 10111111	5字節
67108864 ~ ‭2147483647‬	11111100 10000100 10000000 10000000 10000000 10000000 ~ 11111101 10111111 10111111 10111111 10111111 10111111	6字節

 

以上列出的編號是目前字符集中可以用到的,以後還會不會碰上7字節8字節的情況,就不好說了;

認真觀察以上表格,不難發現分段規則中,每個字段的前綴規律:

1字節:0aaaaaaa

2字節:110aaaaa 10bbbbbb

3字節:1110aaaa 10bbbbbb 10cccccc

4字節:11110aaa 10bbbbbb 10cccccc 10eeeeee

5字節:111110aa 10bbbbbb 10cccccc 10dddddd 10eeeeee

6字節:1111110a 10bbbbbb 10cccccc 10dddddd 10eeeeee 10ffffff

重點:如何把多個UTF8形式的編碼組合成完整的編號,只要把前綴都去掉,剩餘的二進制數據排列在一起,最終的值就是目標編碼啦!

比如

2字節:aaa aabbbbbb(共11位)

4字節:aaabb bbbbcccc cceeeeee(共21位)

比如:"你好"
用UTF8形式表示值分別位 "你"=‭11100100 10111101 10100000‬ "好"=‭11100101 10100101 10111101‬

去掉前綴之後分別爲 "你"=‭0100111101100000‬  "好"=‭0101100101111101‬

用UTF16的表示值分別爲 "你"=0x4f60  "好"=0x597d;

要驗證該結論的方法很簡單,在VS中創建個工程,運行以下代碼即可:

std::wstring s;
s.resize(12);
s[0]=0x4f60;//"你"
s[1]=0x597d;//"好"

斷點查看s中的內容,就是中文:"你好"