Java如何獲取上傳的二進制字節流中的文件編碼格式以及解決文件亂碼問題

通過UltraEdit查看文件編碼格式可得：bgk是沒有文件字符集編碼格式頭的，所以在可以通過下面方式大略判斷。

GB2312-80編碼的編碼範圍是高位0xa1－0xfe，低位是 0xa1-0xfe ，其中漢字範圍爲 0xb0a1 和 0xf7fe，如果只是簡單地判斷漢字，則只要查看高字節是否大於等於0xa1就可以了，還有就是，全角字符的高字節統統等於0xa3，所以很容易可以區別出全角字符來。

通過編輯器UltraEdit整理可得：

utf-8:對應二進制編碼格式頭爲-17 -69 -65 十進制爲：EF BB BF

unicode:對應二進制編碼格式頭爲-1 -2 十進制爲：FF FE

gbk格式沒有自己編碼頭，所以無法比較.且gbk2312與gbk是包含關係

Unicode big endian:FE、FF
因此可以通過兩種方式判斷；如下：

1、if (log[0] == -17 && log[1] == -69 && log[2] == -65)
        System.out.println("：編碼爲UTF-8");
   else
        System.out.println("：可能是GBK，也可能是其他編碼");

2、if (Integer.toHexString(0xFF & log[0]).equals("ef")
      && Integer.toHexString(0xFF & log[1]).equals("bb")
      && Integer.toHexString(0xFF & log[2]).equals("bf")) {
       System.out.println("：編碼爲UTF-8");
  } else {
       System.out.println("：可能是GBK，也可能是其他編碼");
  }

這裏只是舉例常用幾種文件字符集編碼格式。

注意這個方法的侷限：文件頭必須有文件存儲編碼的信息，對於不規範的文件或被篡改過的就另當別論

用法如下：

/**
 * 獲取二進制文件字節流中內容的編碼格式
 * utf-8:對應二進制編碼格式頭爲-17 -69 -65 十進制爲：EF BB BF
 * unicode:對應二進制編碼格式頭爲-1 -2  十進制爲：FF FE
 * gbk格式沒有自己編碼頭，所以無法比較.且gbk2312與gbk是包含關係
 */
public static String getCodeType(byte[] b) {
    if (b[0] == -17 && b[1] == -69 && b[2] == -65) {
        return "utf8";
    } else if (b[0] == -1 && b[1] == -2) {
        return "unicode";
    } else {
        return "gbk";
    }
}

採用第二種方式：

更復雜的文件編碼檢測，可以使用一個開源項目cpdetector，它所在的網址是：http://cpdetector.sourceforge.net/。它的類庫很小，只有500K左右，cpDetector是基於統計學原理的，不保證完全正確，利用該類庫判定文本文件的代碼如下：

讀外部文件(先利用cpdetector檢測文件的編碼格式，然後用檢測到的編碼方式去讀文件)

還需要使用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar

可以這裏下載所有全部架包：https://download.csdn.net/my 或者留言
/**
   * 利用第三方開源包cpdetector獲取文件編碼格式
   *
   * @param path
   * 要判斷文件編碼格式的源文件的路徑
   */
   public static String getFileEncode(String path) {
       /*
       * detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
       * cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法加進來，如ParsingDetector、
       * JChardetFacade、ASCIIDetector、UnicodeDetector。
       * detector按照“誰最先返回非空的探測結果，就以該結果爲準”的原則返回探測到的
       * 字符集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
       * cpDetector是基於統計學原理的，不保證完全正確。
       */
       CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
       /*
       * ParsingDetector可用於檢查HTML、XML等文件或字符流的編碼,構造方法中的參數用於
       * 指示是否顯示探測過程的詳細信息，爲false不顯示。
       */
       detector.add(new ParsingDetector(false));
       /*
       * JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
       * 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
       * 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
       */
       detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
       // ASCIIDetector用於ASCII編碼測定
       detector.add(ASCIIDetector.getInstance());
       // UnicodeDetector用於Unicode家族編碼的測定
       detector.add(UnicodeDetector.getInstance());
       java.nio.charset.Charset charset = null;
       File f = new File(path);
       try {
           charset = detector.detectCodepage(f.toURI().toURL());
       } catch (Exception ex) {
           ex.printStackTrace();
       }
       if (charset != null)
           return charset.name();
       else
           return null;
   }
   String charsetName = getFileEncode(configFilePath);
   System.out.println(charsetName);
   inputStream = new FileInputStream(configFile);
   BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));
讀jar包內部資源文件(先利用cpdetector檢測jar內部的資源文件的編碼格式，然後以檢測到的編碼方式去讀文件)：

/**
   * 利用第三方開源包cpdetector獲取URL對應的文件編碼
   *
   * @param path
   * 要判斷文件編碼格式的源文件的URL
   */
   public static String getFileEncode(URL url) {
       /*
       * detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
       * cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法加進來，如ParsingDetector、
       * JChardetFacade、ASCIIDetector、UnicodeDetector。
       * detector按照“誰最先返回非空的探測結果，就以該結果爲準”的原則返回探測到的
       * 字符集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
       * cpDetector是基於統計學原理的，不保證完全正確。
       */
       CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
       /*
       * ParsingDetector可用於檢查HTML、XML等文件或字符流的編碼,構造方法中的參數用於
       * 指示是否顯示探測過程的詳細信息，爲false不顯示。
       */
       detector.add(new ParsingDetector(false));
       /*
       * JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
       * 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
       * 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
       */
       detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
       // ASCIIDetector用於ASCII編碼測定
       detector.add(ASCIIDetector.getInstance());
       // UnicodeDetector用於Unicode家族編碼的測定
       detector.add(UnicodeDetector.getInstance());
       java.nio.charset.Charset charset = null;
       try {
           charset = detector.detectCodepage(url);
       } catch (Exception ex) {
           ex.printStackTrace();
       }
       if (charset != null)
           return charset.name();
       else
           return null;
   }
   URL url = CreateStationTreeModel.class.getResource("/resource/" + "配置文件");
   URLConnection urlConnection = url.openConnection();
   inputStream=urlConnection.getInputStream();
   String charsetName = getFileEncode(url);
   System.out.println(charsetName);
   BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));

3：探測任意輸入的文本流的編碼，方法是調用其重載形式：

charset=detector.detectCodepage(待測的文本輸入流,測量該流所需的讀入字節數);

上面的字節數由程序員指定，字節數越多，判定越準確，當然時間也花得越長。要注意，字節數的指定不能超過文本流的最大長度。

4：判定文件編碼的具體應用舉例：
    屬性文件(.properties)是Java程序中的常用文本存儲方式，象STRUTS框架就是利用屬性文件存儲程序中的字符串資源。它的內容如下所示：
    #註釋語句
    屬性名=屬性值
    讀入屬性文件的一般方法是：
FileInputStream ios=new FileInputStream(“屬性文件名”);
Properties prop=new Properties();
prop.load(ios);
String value=prop.getProperty(“屬性名”);
ios.close();

利用java.io.Properties的load方法讀入屬性文件雖然方便，但如果屬性文件中有中文，在讀入之後就會發現出現亂碼現象。發生這個原因是load方法使用字節流讀入文本，在讀入後需要將字節流編碼成爲字符串，而它使用的編碼是“iso-8859-1”,這個字符集是ASCII碼字符集，不支持中文編碼，
方法一：使用顯式的轉碼：
String value=prop.getProperty(“屬性名”);
String encValue=new String(value.getBytes(“iso-8859-1″),”屬性文件的實際編碼”);

    方法二：象這種屬性文件是項目內部的，我們可以控制屬性文件的編碼格式，比如約定採用Windows內定的GBK，就直接利用”gbk”來轉碼，     如果約定採用UTF-8，就使用”UTF-8″直接轉碼。
    方法三：如果想靈活一些，做到自動探測編碼，就可利用上面介紹的方法測定屬性文件的編碼，從而方便開發人員的工作
    補充：可以用下面代碼獲得Java支持編碼集合：
    Charset.availableCharsets().keySet();
    可以用下面的代碼獲得系統默認編碼：
    Charset.defaultCharset();

參考：https://blog.csdn.net/servermanage/article/details/8595676

https://blog.csdn.net/shuijianbaozi/article/details/79457723

Java如何獲取上傳的二進制字節流中的文件編碼格式以及解決文件亂碼問題

python gdal 安裝使用（Windows， python 3.6.8）

從一道面試題了解Interge的原理實現

2019年阿里雙11返現活動——抽取錦鯉

idea + springBoot項目配置遠程調試

Java如何獲取上傳的二進制字節流中的文件編碼格式以及解決文件亂碼問題

微信公衆號開發：獲取openId和用戶信息（完整版）

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結