Linux下,有時候我們需要將文件轉換爲另外一種編碼格式,如UTF-8,這個時候我們可以使用iconv工具轉換,但是如果遇到不確定的編碼,在轉換的時候就很麻煩,比如Non-ISO extended-ASCII。現有一個文件SogouQ.mini,查看其編碼如下:
[hadoopUser@secondmgt data]$ file SogouQ.mini
SogouQ.mini: Non-ISO extended-ASCII English text, with very long lines
如果直接轉換會報以下錯誤
[hadoopUser@secondmgt data]$ iconv -t UTF-8 SogouQ.mini >log.txt
iconv: illegal input sequence at position 48
這時候我們可以使用以下方式一個一個查找其源編碼
$ iconv --list | sed 's/\/\/$//' | sort > encodings.list
$ for a in `cat encodings.list`; do
printf "$a "
iconv -f $a -t UTF-8 systeminfo.txt > /dev/null 2>&1 \
&& echo "ok: $a" || echo "fail: $a"
done | tee result.txt
遍歷result.txt文件中,查找嘗試那些沒有fail的編碼方式。最後-f CP850 -t UTF-8對我的文件正好。使用如下命令轉換:
iconv -f CP850 -t UTF-8 SogouQ.mini >SogouQueryLog.txt
查看轉換後的文件編碼:
[hadoopUser@secondmgt data]$ file SogouQueryLog.txt
SogouQueryLog.txt: UTF-8 Unicode English text, with very long lines
由結果可知:轉換成功!