Linux/Unix中使用iconv進行編碼轉換

      iconv命令是運行於linux/unix平臺的文件編碼裝換工具。當我們在linux/unix系統shell查看文本文件時,常常會發現文件的中文是亂碼的,這是由於文本文件的編碼與當前操作系統設置的編碼不同而引起的,這時可以使用iconv進行編碼轉換,從而解決亂碼問題。

解決文本文件亂碼問題分3步:1.確定文件編碼,2.確定iconv是否支持此編碼的轉換,3.確定Linux/Unix操作系統編碼,4.轉換文件編碼爲與系統編碼一致;下面通過對test.txt文件來舉例。

 

1、 使用file命令來確定文件編碼:

 

file test.txt
ISO-8859 text, with CRLF line terminators

  

 

也開始使用如下命令得到更加精確的編碼:

 

file -bi test.txt | sed -e 's/.*[ ]charset=//' |tr '[a-z]' '[A-Z'
ISO-8859-1

 可見test.txt文件編碼爲ISO-8859-1編碼。

 

2、 使用iconv -l確定iconv是否支持此種編碼的轉換:

$ iconv -l | grep ISO-8859-1
ISO-8859-1//
ISO-8859-10//
ISO-8859-11//
ISO-8859-13//
ISO-8859-14//
ISO-8859-15//
ISO-8859-16//

 

3、 確定Linux/Unix操作系統編碼:

$ echo $LANG
zh_CN.UTF-8

 當前操作系統壞境編碼爲"UTF-8"

 

4、 轉換編碼

     注:由於file命令常常會誤判編碼,如發現轉換出來的編碼依然是亂碼,可將iconv -f的輸入編碼換成其他常用編碼試試: GBK、BIG5、HZ、GB2312、GB18030、ASCII。

另外:編碼轉換的時候,如果你的源格式設定爲 GB2312 的話,而且在轉換成 UTF-8 的時候,發現程序會報“illegal input sequence at position xxxx”的錯誤。這是由於你之前的做的假定有問題。GB2312 是國標裏面一個最小也是最早的中文編碼標準。其中,只涵蓋了 6,763 個漢字。所以你需要轉換的文件的原始的格式可能並不是 GB2312 編碼。這個時候,你可以用 GB18030 做爲源格式來進行轉換。GB18030 是最新的國家標準,包含了 27,564 個漢字,而且向下兼容 GB2312 和 GBK。

假定的字符集指定,上述情況還可以在iconv中加入 -c 選項,忽略無效的字符,也可轉換成功。

 

iconv命令用於轉換指定文件的編碼,默認輸出到標準輸出設備,亦可指定輸出文件。

用法: iconv [選項...] [文件...]

有如下選項可用:

輸入/輸出格式規範:

-f, --from-code=名稱 原始文本編碼

-t, --to-code=名稱 輸出編碼

信息:

-l, --list 列舉所有已知的字符集

輸出控制:

-c 從輸出中忽略無效的字符

-o, --output=FILE 輸出文件

-s, --silent 關閉警告

--verbose 打印進度信息

-?, --help 給出該系統求助列表

--usage 給出簡要的用法信息

-V, --version 打印程序版本號

例子:

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

這個命令讀取aaa.txt文件,從utf-8編碼轉換爲gb2312編碼,其輸出定向到bbb.txt文件。

 

附:

文件名轉換

因爲現在用linux,原來在windows裏的文件都是用GBK編碼的。所以copy到linux下是亂碼,文件內容可以用iconv來轉換可是好多中文的文件名還是亂碼,找到個可以轉換文件名編碼的命令,就是convmv。

convmv命令詳細參數

例如

convmv -f GBK -t UTF-8 *.mp3

不過這個命令不會直正的轉換,你可以看到轉換前後的對比。如果要直正的轉換要加上參數 --notest

convmv -f GBK -t UTF-8 --notest *.mp3

-f 參數是指出轉換前的編碼,-t 是轉換後的編碼。這個千萬不要弄錯了。不然可能還是亂碼哦。還有一個參數很有用。就是 -r 這個表示遞歸轉換當前目錄下的所有子目錄。

三、更好的傻瓜型命令行工具enca,它不但能智能的識別文件的編碼,而且還支持成批轉換。

1.安裝

$sudo apt-get install enca

2.查看當前文件編碼

enca -L zh_CN ip.txt

Simplified Chinese National Standard; GB2312

Surrounded by/intermixed with non-text data

3.轉換

命令格式如下

$enca -L 當前語言 -x 目標編碼 文件名

例如要把當前目錄下的所有文件都轉成utf-8

enca -L zh_CN -x utf-8 *

enca -L zh_CN file 檢查文件的編碼

enca -L zh_CN -x UTF-8 file 將文件編碼轉換爲"UTF-8"編碼

enca -L zh_CN -x UTF-8 < file1 > file2 如果不想覆蓋原文件可以這樣,很簡單吧。

 

其實還可以用notepad++轉換,notepad++轉換非常簡單,windows中,使用Notepad++打開文件格式以後,選擇“格式”工具欄,然後可以選擇轉換爲某個格式

 

 

發佈了59 篇原創文章 · 獲贊 13 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章