C# char 65279 BOM,解决字符串视觉上相同,但字符串比较失败的问题

BOM

去百度看了一下,原来是文件bom标记位(BOM: byte order mark : 字节顺序标记)
之前为了方便测试一些文件数据,用了notepad.exe去创建 .txt,结果读取出来的字符和程序中的死活不相同。
就是因为bom标记导致的。

什么是BOM?

网上搜索:
百度科的BOM

Unicode规范中的BOM
Unicode规范中有一个BOM的概念。BOM——Byte Order Mark,就是字节序标记。在这里找到一段关于BOM的说明:
在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。
Windows就是使用BOM来标记文本文件的编码方式的。
另外unicode网站的FAQ-BOM详细介绍了BOM。官方的自然权威,不过是英文的,看起来比较费劲。
UTF-8编码的文件中,BOM占三个字节。如果用记事本把一个文本文件另存为UTF-8编码方式的话,用UE打开这个文件,切换到十六进制编辑状态就可以看到开头的EF BB BF了。这是个标识UTF-8编码文件的好办法,软件通过BOM来识别这个文件是否是UTF-8编码,很多软件还要求读入的文件必须带BOM。可是,还是有很多软件不能识别BOM。我在研究Firefox的时候就知道,在Firefox早期的版本里,扩展是不能有BOM的,不过Firefox 1.5以后的版本已经开始支持BOM了。如今又发现,PHP也不支持BOM。
PHP在设计时就没有考虑BOM的问题,也就是说他不会忽略UTF-8编码的文件开头BOM的那三个字符。由于必须在<?或者<?php后面的代码才会作为PHP代码执行,所以这三个字符将会直接输出。如果插件的文件有这个问题,将会导致在后台页面里激活或者不激活插件后显示白屏,如果是模版文件有这个问题,将会导致这三个字符直接输出,造成页面上方有一个小空行。国外的英文插件和模版一般都是用的ASCⅡ码的编码方式,不会有BOM,只有国内的插件和模版会由于作者的不知情造成问题。还有,大家修改模版的时候,由于输出页面使用UTF-8编码,那么修改模版的时候如果有加入中文字符的话,必须把文件转成UTF-8编码才能正常显示,这个时候如果所使用的编辑器自动加上了BOM的话,将会造成在页面上输出这三个字符,显示效果就要看浏览器了,一般是一个空行或是一个乱码。

一般我们遇到BOM标记都是酱紫导致(或者是我们的一个API导出文件时,默认参数就是With BOM):

是utf-8用记事本编辑代码保存的错误,使代码在保存的时候带上了BOM。 最好写代码的时候用编译器编写,不要用记事本编写代码。
出现出错后,点击下面的网址下载一个UltraEdit或editplus

说得比较清楚的还是stackoverflow的一篇文件

It’s a zero-width no-break space.
It’s more commonly used as a byte-order mark (BOM).

解决方法

用:Sublime、EditorPlus、UltraEditor、Notepad++等文本编辑来输入文本,保存就可以了。
我记得其中一个编辑器(忘记是哪个了)可以save with encoding…->
* no bom utf8
* with bom utf8
选第一个:no bom utf8就可以了。

UTF8编码的BOM头代码处理(原文),其他编码不一定能这样处理:

byte[] buffer = ...;
byte[] bomBuffer = new byte[] { 0xef, 0xbb, 0xbf }; // 0xef:239, 0xbb:187, oxbf:191

if (buffer[0] == bomBuffer[0]
    && buffer[1] == bomBuffer[1]
    && buffer[2] == bomBuffer[2])
{
    return Encoding.UTF8.GetString(buffer, 3, buffer.Length - 3);
}

return Encoding.UTF8.GetString(buffer);

Unicode的话,FEFF或FFFE开头的都是BOM,FEFF是Big-Endian(高位靠左), FFFE是Little-Endian(地位靠右)

现象:

vs中watch, variable等查看两个字符:a == “ab”; b == “ab”;

结果:a == b 一直都是false
string.Equals(a,b) == false

视觉上:a=”ab”, b=”ab”都是”ab”没有问题啊。
然后发现:a.Length == 3, b.Length == 2

接着输出:
a[0] == ” // 一个什么都看不到的字符
a[1] == ‘a’
a[2] == ‘b’

b[0] == ‘a’
b[1] == ‘b’

因为a[0]视觉上不知道是什么字符

将BOM揪出来

((int)a[0]) == 65279

然后就直接:百度、必应:C# 65279

看VSC的运行效果图:

看VSC的运行效果图

然后就没然后了。。。
嗯,告一段落。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章