如何将集群文件转换格式-shell指令将GBK文件转成UTF-8的格式

DATE1=$1;
DATE2=$2;
hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #从别人的集群目录下载文件到自己的本地文件夹
iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2  #转换格式
hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/  #上传到集群
rm -r ./SZT/$DATE2;  
rm -r ./SZT/$DATE1.csv; 
#删除本地文件
#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循环操作


本段代码主要实现从集群下载文件,然后在shell本地转换格式。
将本段代码保存为tran_format.sh文件,在shell命令行输入最后一行代码即可实现批量转换文件格式,并批量删除转换前不需要的文件

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章