C++處理中文的問題困擾我很久了。之前一旦遇到中文基本就投諸java懷抱了。 今天看到一個漂亮的c++程序,遂豁然開朗。總結一下分享給大家:
問題描述: c++ 中 char*/string 形式的字符串無法正確的對中文字符串進行處理(如 find, strlen, substr 等常規操作) 。 比如當你在char* 中 find 英文逗號時,有可能匹配的不只是逗號,還找到了某個漢字的一個字節,而你無法在char*中區分它們。
問題原因: 中文字符長度不固定,按字節處理往往出現亂碼或錯誤分割。在unicode中每個中文爲2個字節,而中文中間夾雜的英文和半角標點則仍然是1個字節。
解決方案: 構造三層邏輯結構:輸入層、邏輯處理層、輸出層。 -- 輸入層接收char*輸入,並將其轉換爲wchar*. -- 邏輯處理層在 wchar* 或 wstring 的基礎上進行字符串操作,此時操作最小單位爲中文字符,不會再有亂碼。 -- 輸出層將wchar*的結果再次轉換爲char* ,返回給外部。 這樣,對外部來說,仍然是輸入char*, 輸出char*, 但在這個過程中不再有分割漢字的操作或亂碼。
核心轉換代碼: #include<wchar.h>
wchar_t * MBCS2Unicode(wchar_t * buff, const char * str) { wchar_t * wp = buff; char * p = (char *)str; while(*p) { if(*p & 0x80) { *wp = *(wchar_t *)p; p++; } else{ *wp = (wchar_t) *p; } wp++; p++; } *wp = 0x0000; return buff; }
char * Unicode2MBCS(char * buff, const wchar_t * str) { wchar_t * wp = (wchar_t *)str; char * p = buff, * tmp; while(*wp){ tmp = (char *)wp; if(*wp & 0xFF00){ *p = *tmp; p++;tmp++; *p = *tmp; p++; } else{ *p = *tmp; p++; } wp++; } *p = 0x00; return buff; }
wstring str2wstr(string str) { size_t len = str.size(); wchar_t * b = (wchar_t *)malloc((len+1)*sizeof(wchar_t)); MBCS2Unicode(b,str.c_str()); wstring r(b); free(b); return r; }
string wstr2str(wstring wstr) { size_t len = wstr.size(); char * b = (char *)malloc((2*len+1)*sizeof(char)); Unicode2MBCS(b,wstr.c_str()); string r(b); free(b); return r; }
int wputs(wstring wstr) { wputs(wstr.c_str()); return 0; }
int wputs(const wchar_t * wstr) { int len = wcslen(wstr); char * buff = (char *)malloc((len * 2 + 1)*sizeof(char)); Unicode2MBCS(buff,wstr); printf("%s",buff); free(buff); return 0; } ============================================= (另外大家關心的UTF8如何轉換,添加一段轉自End2012的UTF8--Unicode轉換程序) wchar_t * UTF8ToUnicode( const char* str ) ========================================== 原創帖,歡迎評論交流。轉載請註明出處。 |
c++ 中文字符串處理方法
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.