iconv命令是運行於linux/unix平臺的文件編碼裝換工具。當我們在linux/unix系統shell查看文本文件時,常常會發現文件的中文是亂碼的,這是由於文本文件的編碼與當前操作系統設置的編碼不同而引起的,這時可以使用iconv進行編碼轉換,從而解決亂碼問題。
解決文本文件亂碼問題分3步:1.確定文件編碼,2.確定iconv是否支持此編碼的轉換,3.確定Linux/Unix操作系統編碼,4.轉換文件編碼爲與系統編碼一致;下面通過對test.txt文件來舉例。
1、 使用file命令來確定文件編碼:
file test.txt ISO-8859 text, with CRLF line terminators
也開始使用如下命令得到更加精確的編碼:
file -bi test.txt | sed -e 's/.*[ ]charset=//' |tr '[a-z]' '[A-Z' ISO-8859-1
可見test.txt文件編碼爲ISO-8859-1編碼。
2、 使用iconv -l確定iconv是否支持此種編碼的轉換:
$ iconv -l | grep ISO-8859-1 ISO-8859-1// ISO-8859-10// ISO-8859-11// ISO-8859-13// ISO-8859-14// ISO-8859-15// ISO-8859-16//
3、 確定Linux/Unix操作系統編碼:
$ echo $LANG zh_CN.UTF-8
當前操作系統壞境編碼爲"UTF-8"
4、 轉換編碼
注:由於file命令常常會誤判編碼,如發現轉換出來的編碼依然是亂碼,可將iconv -f的輸入編碼換成其他常用編碼試試: GBK、BIG5、HZ、GB2312、GB18030、ASCII。
另外:編碼轉換的時候,如果你的源格式設定爲 GB2312 的話,而且在轉換成 UTF-8 的時候,發現程序會報“illegal input sequence at position xxxx”的錯誤。這是由於你之前的做的假定有問題。GB2312 是國標裏面一個最小也是最早的中文編碼標準。其中,只涵蓋了 6,763 個漢字。所以你需要轉換的文件的原始的格式可能並不是 GB2312 編碼。這個時候,你可以用 GB18030 做爲源格式來進行轉換。GB18030 是最新的國家標準,包含了 27,564 個漢字,而且向下兼容 GB2312 和 GBK。
假定的字符集指定,上述情況還可以在iconv中加入 -c 選項,忽略無效的字符,也可轉換成功。
iconv命令用於轉換指定文件的編碼,默認輸出到標準輸出設備,亦可指定輸出文件。
用法: iconv [選項...] [文件...]
有如下選項可用:
輸入/輸出格式規範:
-f, --from-code=名稱 原始文本編碼
-t, --to-code=名稱 輸出編碼
信息:
-l, --list 列舉所有已知的字符集
輸出控制:
-c 從輸出中忽略無效的字符
-o, --output=FILE 輸出文件
-s, --silent 關閉警告
--verbose 打印進度信息
-?, --help 給出該系統求助列表
--usage 給出簡要的用法信息
-V, --version 打印程序版本號
例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
這個命令讀取aaa.txt文件,從utf-8編碼轉換爲gb2312編碼,其輸出定向到bbb.txt文件。
附:
文件名轉換
因爲現在用linux,原來在windows裏的文件都是用GBK編碼的。所以copy到linux下是亂碼,文件內容可以用iconv來轉換可是好多中文的文件名還是亂碼,找到個可以轉換文件名編碼的命令,就是convmv。
convmv命令詳細參數
例如
convmv -f GBK -t UTF-8 *.mp3
不過這個命令不會直正的轉換,你可以看到轉換前後的對比。如果要直正的轉換要加上參數 --notest
convmv -f GBK -t UTF-8 --notest *.mp3
-f 參數是指出轉換前的編碼,-t 是轉換後的編碼。這個千萬不要弄錯了。不然可能還是亂碼哦。還有一個參數很有用。就是 -r 這個表示遞歸轉換當前目錄下的所有子目錄。
三、更好的傻瓜型命令行工具enca,它不但能智能的識別文件的編碼,而且還支持成批轉換。
1.安裝
$sudo apt-get install enca
2.查看當前文件編碼
enca -L zh_CN ip.txt
Simplified Chinese National Standard; GB2312
Surrounded by/intermixed with non-text data
3.轉換
命令格式如下
$enca -L 當前語言 -x 目標編碼 文件名
例如要把當前目錄下的所有文件都轉成utf-8
enca -L zh_CN -x utf-8 *
enca -L zh_CN file 檢查文件的編碼
enca -L zh_CN -x UTF-8 file 將文件編碼轉換爲"UTF-8"編碼
enca -L zh_CN -x UTF-8 < file1 > file2 如果不想覆蓋原文件可以這樣,很簡單吧。
其實還可以用notepad++轉換,notepad++轉換非常簡單,在windows中,使用Notepad++打開文件格式以後,選擇“格式”工具欄,然後可以選擇轉換爲某個格式