解決xml解析中報文格式和encoding不一致的解析錯誤

1.錯誤現象

我遇到過這樣的xml文件,用c++解析的時候，報如下的錯誤：

Fatal Error at file "d:/test2.xml", line 1, column 40
   Message: An exception occurred! Type:UTFDataFormatException, Message:invalid byte 2 (? of a 2-byte sequence.

用java解析這個文件的時候，報如下錯誤

Invalid byte 1 of 1-byte UTF-8 sequence.
java.io.UTFDataFormatException: Invalid byte 1 of 1-byte UTF-8 sequence.
 at org.apache.xerces.impl.io.UTF8Reader.invalidByte(Unknown Source)
 at org.apache.xerces.impl.io.UTF8Reader.read(Unknown Source)
 at org.apache.xerces.impl.XMLEntityScanner.load(Unknown Source)
 at org.apache.xerces.impl.XMLEntityScanner.skipChar(Unknown Source)
 at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatcher.dispatch(Unknown Source)
 at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown Source)
 at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source)
 at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source)
 at org.apache.xerces.parsers.XMLParser.parse(Unknown Source)
 at org.apache.xerces.parsers.DOMParser.parse(Unknown Source)
 at org.apache.xerces.jaxp.DocumentBuilderImpl.parse(Unknown Source)
 at javax.xml.parsers.DocumentBuilder.parse(Unknown Source)

 

2.程序內容

java程序內容如下：

import javax.xml.parsers.DocumentBuilder; import javax.xml.parsers.DocumentBuilderFactory; import org.w3c.dom.Document; import org.w3c.dom.Element; public class XMLTest { /** * @param args */ public static void main(String[] args) { try { DocumentBuilderFactory docBuilderFactory = DocumentBuilderFactory.newInstance(); DocumentBuilder docBuilder = docBuilderFactory.newDocumentBuilder(); Document doc = docBuilder.parse("d:/test2.xml"); Element root = doc.getDocumentElement(); System.out.println("root --> "+root.getTagName()); //根節點名 }catch(Exception e){ System.out.println(e.getMessage()); e.printStackTrace(); } } }

c++程序用到了xerces-c，代碼段如下：

XercesDOMParser *parser = NULL; DOMTreeErrorReporter *errReporter = NULL; DOMDocument *document = NULL; DOMNode *DOMRootNode = NULL; try { //初始化 parser = new XercesDOMParser; errReporter = new DOMTreeErrorReporter(); parser->setErrorHandler(errReporter); parser->parse("d//test2.xml"); if(errReporter->getSawErrors()) { printf("xml格式錯誤/n"); delete errReporter; delete parser; return -1; } }catch (const OutOfMemoryException& outEx) { }catch (const XMLException& e) { } catch (const DOMException& DomE) { } catch (...) { }

 

3.原因分析

文件test2.xml內容如下：

<?xml version="1.0" encoding="UTF-8" ?> <InterBOSS> <OrderMemberInfo> <OrderNumber/> <ProductID>1</ProductID> <OrderSource>1</OrderSource> <ProductOrderMembers> <ProductOrderMember> <ww>1</ww> <Action>1</Action> <MemberTypeID>1</MemberTypeID> <EffDate>20090512161449</EffDate> <Extends> <Extend> <CharacterID>95105</CharacterID> <CharacterName>定位方式</CharacterName> <CharacterValue>A</CharacterValue> </Extend> <Extend> <CharacterID>95108</CharacterID> <CharacterName>終端ID</CharacterName> <CharacterValue>TEST</CharacterValue> </Extend> <Extend> <CharacterID>95106</CharacterID> <CharacterName>終端車牌號</CharacterName> <CharacterValue>123456</CharacterValue> </Extend> <Extend> <CharacterID>95107</CharacterID> <CharacterName>終端型號</CharacterName> <CharacterValue>TEST</CharacterValue> </Extend> <Extend> <CharacterID>95109</CharacterID> <CharacterName>終端類型</CharacterName> <CharacterValue>2</CharacterValue> </Extend> </Extends> </ProductOrderMember> </ProductOrderMembers> </OrderMemberInfo> </InterBOSS>

我把這個文件放在本地，用ie打開該文件，解析有問題,不能正常顯示。

修改encoding="gbk"，然後說用ie打開，就沒有問題了。

再次運行java程序和c++程序，正常運行，沒有報告錯。

說明文件格式有問題，最簡單的解決辦法就是修改文件的encoding段。

但是有些時候這樣做起來可操作性能不強。

我遇到的問題是，別人發給我一個錯誤的文件，我打電話給對方，告訴他，文件格式有問題，對方不承認，還說別的廠商爲什麼沒有找他，“暈”，死活不修改，而且程序一直會自動運行，手工去修改顯然不顯示，用腳本修改文件的額內容也不好。

 

放心，程序是“萬能”的，平時遇到的所謂bug，看似不可能的問題，認真分析之後，都能通過程序來解決問題。

 

4.分析、解決問題

既然xml文件的內容沒有被編碼爲encoding指定的內容，我們可以把文件的內容讀出來，然後在進行編碼，將編碼後的內容進行解析，問題就解決了。

再不修改文件內容的情況下，修改java程序，內容如下：

import java.io.ByteArrayInputStream; import java.io.File; import java.io.FileInputStream; import java.io.InputStream; import javax.xml.parsers.DocumentBuilder; import javax.xml.parsers.DocumentBuilderFactory; import org.w3c.dom.Document; import org.w3c.dom.Element; public class XMLTest { /** * @param args */ public static void main(String[] args) { try { DocumentBuilderFactory docBuilderFactory = DocumentBuilderFactory.newInstance(); DocumentBuilder docBuilder = docBuilderFactory.newDocumentBuilder(); File file = new File("d:/test2.xml"); if(!file.exists()) { System.out.println(file.getAbsolutePath() + "文件不存在"); return; } //先讀文件 StringBuffer strBuffer = new StringBuffer(); FileInputStream fileIn = new FileInputStream(file); byte[] buf = new byte[1024]; int len = 0; while( (len = fileIn.read(buf)) > 0) { String str = new String(buf, 0, len); strBuffer.append(str); } System.out.print(strBuffer.toString()); ByteArrayInputStream stream = new ByteArrayInputStream((strBuffer.toString()).getBytes("utf-8")); //InputStream inStream = Document doc = docBuilder.parse(stream); Element root = doc.getDocumentElement(); System.out.println("root --> "+root.getTagName()); //根節點名 } catch(Exception e){ System.out.println(e.getMessage()); e.printStackTrace(); } } }

運行正確，成功打印出根節點名字。

程序先將文件的內容讀出，然後轉換成utf-8的編碼，組裝成一個字符流進行解析。

 

c++程序也是一樣，先讀出文件內容，然後用icu轉換成utf-8編碼，組裝成內容結構進行解析。

c++程序段內容如下：

XercesDOMParser *parser = NULL; DOMTreeErrorReporter *errReporter = NULL; DOMDocument *document = NULL; DOMNode *DOMRootNode = NULL; try { //初始化 parser = new XercesDOMParser; errReporter = new DOMTreeErrorReporter(); parser->setErrorHandler(errReporter); //1.讀取文件 FILE *fReadFile = NULL; if ((fReadFile = fopen(fullFileName.c_str(), "r"))==NULL) { printf("讀取文件出錯,文件不存在或者沒有讀取權限!/n"); return -1; } AISTD string strBuf;//存放文件內容 char line[g_line_size]; int read_len = 0; while(!feof(fReadFile)) { char *s = fgets(line, g_line_size, fReadFile); if(s == NULL) { if(ferror(fReadFile)) { errdesc = strerror(ferror(fReadFile)); return -1; } else break; } strBuf += line; } //2.將文件內容進行編碼 UnicodeString unicodeStr(strBuf.c_str());//得到unicode UConverter *conv = NULL; UErrorCode status = U_ZERO_ERROR; conv = ucnv_open("utf-8", &status);//打開轉換服務的函數 if(U_FAILURE(status)) { errdesc = "創建ICU轉換器句柄失敗."; return -1; } //得到目標字符串 uint32_t len = 0, len2 = 0; len2 = unicodeStr.length(); uint32_t xmlLen = unicodeStr.length() * 3; char* xmlBuf = new char[xmlLen]; UChar* uchar_buf = unicodeStr.getBuffer(unicodeStr.length());//得到Unicode緩衝地址 len = ucnv_fromUChars(conv, xmlBuf, xmlLen, uchar_buf, len2, &status); if(U_FAILURE(status)) { fprintf(stderr, "status == %s/n", u_errorName(status)); return -1; } //得到目標字符串 xmlBuf[len] = 0;//將編碼後的xml報文截斷 MemBufInputSource *memBufIS = new MemBufInputSource( (const XMLByte*)xmlBuf, strlen(xmlBuf), "STRBUF",false); //開始解析報文 parser->parse(*memBufIS); if(errReporter->getSawErrors()) { printf("xml格式錯誤/n"); delete errReporter; delete parser; return -1; } //得到文檔對象 document = parser->getDocument(); //得到dom根節點 DOMRootNode = (DOMNode*)document->getDocumentElement(); //delete []xmlBuf; }catch(otl_exception& p){ }catch (const OutOfMemoryException& outEx) { }catch (const XMLException& e) { } catch (const DOMException& DomE) { } catch (...) { }

上面用到了一些icu的函數，沒有用過icu的兄弟，可以查看一下這方面的資料。