解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题

问题一、解决awk中无法使用shell变量问题

 

项目背景

需要通过提取 去重后的操作日志里面 第一列账号 + 设定日期 来作为数据字段  导入到ORACLE库

逻辑是在通过管道对 提取数据的同时,把设定日期作为 新的一列 加入到新的文本文件里,问题就出现在这个时间变量这里,

本来先给时间变量赋值,然后把变量放在命令行里是没问题的,可是在awk 里就出现了问题, 反复测试依然是相同的结果,本来应该是取的时间值,却变成了数据文件里的某个字段值,所以$calc_day_bak 这个参数出现了问题,反复查阅,最后问题定位在

变量在awk中无法使用的问题需要对 "$"+变量名的形式 做字符转义,下文做详细说明:

一:"'$var'"

这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:

var="test" 
awk 'BEGIN{print "'$var'"}'

这种写法其实际是双括号变为单括号的常量,传递给了awk.

如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:

var="this is a test" 
awk 'BEGIN{print "'"$var"'"}' 
二:'"$var"'

这种写法与上一种类似.如果变量含空格,则变为'""$var""'较为可靠. 
三.把括起awk程序的''变为"",使用"$var"

如: 
$var="this is a test" 
awk 'BEGIN{print "$var"}" 
这是因为在""里$是特殊字符,而在''里$是普通字符. 
四:export 变量,使用ENVIRON["var"]形式,

如: 
$var="this is a test";export $var 
awk 'BEGIN{print ENVIRON["var"]}' 
五:当然也可以使用-v选项

如: 
$var="this is a test" 
awk -v nvar="$var" '{print nvar}'

这样便把系统变量定义成了awk变量.

 

问题二、脚本使用命令行对用户进行切换的问题

项目背景

(1)项目需要每天定时从HADOOP集群中下载 每日更新的数据文件,需要使用 hadoop fs -get命令,用户是hadoop;

(2)把下载下来的数据源文件中指定的字段提取出来,然后把数据批量导入到ORACLE中,需要使用oracle自带的sqlldr 工具,用户是oracle

(3)由于数据源文件是hadoop用户下载的,需要使用root或者hadoop用户进行删除处理

在写脚本的时候就遇到需要处理用户切换的问题,不然会有命令 或者环境不支持的问题产生报错,经过多种方式取证尝试,发现用户切换问题是SHELL语法中比较大的一个诟病,没有直接简单合适的方式来处理,最后只好把一个脚本拆分成几个,然后在不同的用户角色下对数据进行处理,通过crontab来对处理时间进行控制,也算是达到了目的。

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章