linux批量计算时间差脚本——awk

今天碰到一个时间差批量计算的问题,弄好后就写下来,方便积累和分享。

180940926.png

部分数据(一共有40多W条,gmail.csv )如上图所示,已经做过二次处理和排版。

第i行前两列时间记作A[i],后两列记作B[i],需要计算平均延迟∑(A[i]-B[i]) /I,以及最大延迟Max(A[i]-B[i])

平均值:

[root[root@test01 test]# awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;sum+=c}END{print sum/NR}' gmail.csv

最大值:

[root@test01 test]# awk -F '[ :-]' '{a=strftime("%s",mktime($1" "$2" "$3" "$4" "$5" "$6));b=strftime("%s",mktime($7" "$8" "$9" "$10" "$11" "$12));c=a-b;if(c>max)max=c}END{print max}' gmail.csv


知识点:awk自带的时间函数


函数名说明
mktime( YYYY MM DD HH MM SS[ DST])生成时间格式
strftime([format [, timestamp]])格式化时间输出,将时间戳转为时间字符串
具体格式,见下表.
systime()得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数


创建指定时间(mktime使用)

[chengmo@centos5 ~]$ awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}'
2001年01月01日 星期一 12时12分12秒


[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}'
2634468

求2个时间段中间时间差,介绍了strftime使用方法


[chengmo@centos5 ~]$ awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}'
308201392


strftime日期和时间格式说明符

格式描述
%a星期几的缩写(Sun)
%A星期几的完整写法(Sunday)
%b月名的缩写(Oct)
%B月名的完整写法(October)
%c本地日期和时间
%d十进制日期
%D日期 08/20/99
%e日期,如果只有一位会补上一个空格
%H用十进制表示24小时格式的小时
%I用十进制表示12小时格式的小时
%j从1月1日起一年中的第几天
%m十进制表示的月份
%M十进制表示的分钟
%p12小时表示法(AM/PM)
%S十进制表示的秒
%U十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w十进制表示的星期几(星期天是0)
%W十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x重新设置本地日期(08/20/99)
%X重新设置本地时间(12:00:00)
%y两位数字表示的年(99)
%Y当前月份
%Z时区(PDT)
%%百分号(%)



今天又遇到个日志问题,写下来方便以后回头看和积累:

原始数据类似:G,2013-09-28 00:00:16+0800,2013-09-27 20:05:27+0800,XASHKNWABASDBKW

我只需要标红的各个字段,代码如下:

awk -F '[,+]' '{gsub(/-|:/," ",$2);gsub(/-|:/," ",$4);print $2,$4}'

意思是:以,或+分割数据字段,同时将第2个字段中的-或:都替换为空格;第四个字段也做了相同的操作,并输出。

输出格式为:2013 09 28 00 00 16 2013 09 27 20 05 27


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章