awk学习笔记

文章目录

格式化输出：

awk语法格式

awk [options] ‘commands’ filenames

options
-F 定义输入字段分隔符,默认的分隔符是空格或制表符(tab)

command：
BEGIN{}{}END{}
行处理前行处理行处理后

# awk 'BEGIN{print 1/2} {print "ok"} END{print "-----------"}'  /etc/hosts 
0.5 
ok 
ok 
ok 
-----------

BEGIN{} 通常用于定义一些变量，
例如 BEGIN{FS=":";OFS="—"}

awk命令格式

awk ‘pattern’ filename

示例：

awk -F: '/root/'  /etc/passwd

awk ‘{action}’ filename

示例：

awk -F: '{print $1}' /etc/passwd

awk ‘pattern {action}’ filename

示例：

awk -F: '/root/{print  $1,$3}' /etc/passwd

示例

awk 'BEGIN{FS=":"} /root/{print $1,$3}' /etc/passwd

command |awk ‘pattern {action}’

示例：

df -P| grep '/' |awk '$4 > 25000 {print $4}'

awk工作原理

# awk -F: '{print $1,$3}' /etc/passwd

awk 使用一行作为输入，并将这一行赋给内部变量$0，每一行也可称为一个记录，以换行符结束
然后，行被:（默认为空格或制表符）分解成字段（或域），每个字段存储在已编号的变量
中，从 $1 开始，最多达100个字段
awk 如何知道用空格来分隔字段的呢？因为有一个内部变量 FS 来确定字段分隔符。初始
时，FS 赋为空格
awk 打印字段时，将以设置的方法使用print函数打印，awk在打印的字段间加上空格，
因为$1,$3之间有一个逗号。

逗号比较特殊，它映射为另一个内部变量，称为输出字段分隔符OFS，OFS默认为空格

awk 输出之后，将从文件中获取另一行，并将其存储在$0中，覆盖原来的内容，然后将新的字符串分隔成字段并进行处理。该过程将持续到所有行处理完毕

awk 中与记录字段相关的内部变量：

查看awk变量方法 man awk

1. $0： awk变量$0保存当前记录的内容

```
# awk -F: '{print $0}' /etc/passwd 
```

2. NR： The total number of input records seen so far.

```
# awk -F: '{print NR, $0}' /etc/passwd /etc/hosts 
```

3. FNR： The input record number in the current input file

```
# awk -F:  '{print  FNR, $0}'  /etc/passwd 
/etc/hosts 
```

4. NF：保存记录的字段数，$1 , $2… $100

```
# awk -F: '{print $0,NF}' /etc/passwd 
```
>**注意:** NF 和 $NF 之间的区别

5. FS：输入字段分隔符，默认空格

```
# awk -F: '/alice/{print $1, $3}' /etc/passwd 
# awk -F'[  :\t]' '{print $1,$2,$3}' /etc/passwd
# awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd 
```

6. OFS：输出字段分隔符

```
# awk -F: '/alice/{print  $1,$2,$3,$4}' /etc/passwd 
# awk 'BEGIN{FS=":"; OFS="+++"} /^root/{print  $1,$2,$3,$4}' /etc/passwd 
```

7. RS : The input record separator, by default a newline.

输入记录分隔符,默认遇见换行符认为是一条记录

 # awk -F: 'BEGIN{RS=" "} {print $0}' a.txt

8. ORS : The output record separator, by default a newline.

```
# awk -F: 'BEGIN{ORS=""} {print $0}' passwd 
```

lab1: 将文件中多行合并为一行

# awk 'BEGIN{ORS=" "} {print $0}' /etc/passwd

lab2: 将文件中一行分成多行

# head -1 /etc/passwd  > passwd1 
# cat passwd1   
root:x:0:0:root:/root:/bin/bash 
 
# awk 'BEGIN{RS=":"} {print $0}' passwd1   
root 
x 
0 
0 
root 
/root  
/bin/bash 
 
# awk 'BEGIN{RS=":"} {print $0}' passwd1 |grep -v '^$' > passwd2

格式化输出：

print函数

# date |awk '{print "Month: " $2 "\nYear: " $NF}' 
# awk -F: '{print "username is: " $1 "\t uid is: " $3}' /etc/passwd 
# awk -F: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd

printf函数

# awk -F: '{printf "%-15s %-10s %-15s\n", $1,$2,$3}' /etc/passwd 
# awk -F: '{printf "|%-15s|  %-10s|  %-15s|\n", $1,$2,$3}' /etc/passwd

%s 字符类型
%d 数值类型
%f 浮点数
占15字符
- 表示左对齐，默认是右对齐

printf默认不会在行尾自动换行，加\n

awk模式和动作

任何awk语句都由模式和动作组成。
模式部分决定动作语句何时触发及触发事件。
动作即对数据进行的操作。

如果省略模式部分，动作将时刻保持执行状态。
模式可以是任何条件语句或复合语句或正则表达式。

模式包括两个特殊字段BEGIN和END。

使用BEGIN语句设置计数和打印头。
BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文本开始执行。
END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态。

awk支持的模式

正则表达式

匹配记录（整行）

# awk '/^alice/' /etc/passwd 
# awk '$0 ~ /^alice/' /etc/passwd 
# awk '!/alice/' passwd 
# awk '$0 !~ /^alice/'  /etc/passwd

匹配字段：匹配操作符（~ !~）

# awk -F: '$1 ~ /^alice/' /etc/passwd 
# awk -F: '$NF !~ /bash$/'  /etc/passwd

比较表达式：

比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。
比较表达式使用关系运算符，用于比较数字与字符串。

关系运算符

运算符	含义	示例
<	小于	x<y
<=	小于或等于	x<=y
==	等于	x==y
!=	不等于	x!=y
>=	大于等于	x>=y
>	大于	x>y

示例:

# awk -F: '$3 == 0' /etc/passwd 
# awk -F: '$3 < 10' /etc/passwd 
# awk -F: '$7 == "/bin/bash"'  /etc/passwd 
# awk -F: '$1 == "alice"' /etc/passwd 
# awk -F: '$1 ~ /alice/ ' /etc/passwd 
# awk -F: '$1 !~ /alice/ ' /etc/passwd 
# df -P | grep '/' |awk '$4 > 25000'

条件表达式：

# awk -F: '$3>300 {print $0}' /etc/passwd 
# awk -F: '{ if($3>300) print $0 }' /etc/passwd

// 推荐使用以下两种格式
# awk -F: '{ if($3>300) {print $0} }' /etc/passwd 
# awk -F: '{ if($3>300) {print $3} else{print  $1} }' /etc/passwd

算术运算：+ - * / %(模) ^(幂2^3)

可以在模式中执行计算，awk都将按浮点数方式执行算术运算

# awk -F: '$3 * 10 > 500' /etc/passwd 
# awk -F: '{ if($3*10>500){print  $0} }' /etc/passwd

逻辑操作符和复合模式

&& 逻辑与 a&&b
|| 逻辑或 a||b
! 逻辑非 !a

# awk -F: '$1~/root/ && $3<=15' /etc/passwd 
# awk -F: '$1~/root/ || $3<=15' /etc/passwd 
# awk -F: '!($1~/root/ || $3<=15)' /etc/passwd

范围模式

# awk '/Tom/,/Suzanne/'  filename

awk示例:

# awk '/west/' datafile 
# awk '/^north/'  datafile 
# awk '$3 ~ /^north/'  datafile 
# awk '/^(no|so)/'  datafile 
# awk '{print $3,$2}' datafile 
 
# awk '{print $3 $2}' datafile 
# awk '{print $0}' datafile 
# awk '{print "Number of fields: "NF}' datafile
# awk '/northeast/{print  $3,$2}' datafile 
# awk '/E/' datafile 

# awk '/^[ns]/{print  $1}' datafile 
# awk '$5 ~ /\.[7-9]+/' datafile 
# awk '$2 !~ /E/{print  $1,$2}' datafile 
# awk '$3 ~ /^Joel/{print  $3 " is a nice boy."}' datafile 
# awk '$8 ~ /[0-9][0-9]$/{print  $8}' datafile 

# awk '$4 ~ /Chin$/{print  "The price is $" $8 "."}' datafile 
# awk '/Tj/{print  $0}' datafile 
# awk '{print $1}' /etc/passwd   
# awk -F: '{print $1}' /etc/passwd 
# awk '{print "Number of fields: "NF}' /etc/passwd 

# awk -F: '{print "Number of fields:  "NF}' /etc/passwd 
# awk -F"[ :]" '{print NF}' /etc/passwd   
# awk '$7 == 5' datafile 
# awk '$2 == "CT" {print $1, $2}' datafile 
# awk '$7 != 5' datafile

lab3

# cat b.txt  
yang sheng:is a:good boy! 
# awk '{print  NF}' b.txt   
4 
# awk -F: '{print NF}' b.txt  
3 
# awk -F"[ :]" '{print NF}' b.txt  
6 

# awk '$7 < 5 {print $4, $7}' datafile 
# awk '$6 > .9 {print $1,$6}' datafile 
# awk '$8 <= 17 {print $8}' datafile 
# awk '$8 >= 17 {print $8}' datafile 
# awk '$8 > 10 && $8 < 17' datafile 

# awk '$2 == "NW" || $1 ~ /south/  {print $1, $2}' datafile 
# awk '!($8 == 13){print $8}' datafile 
# awk '/southem/{print  $5 + 10}' datafile 
# awk '/southem/{print  $8 + 10}' datafile 
# awk '/southem/{print  $5 + 10.56}' datafile 

# awk '/southem/{print  $8 - 10}' datafile 
# awk '/southem/{print  $8 / 2 }' datafile 
# awk '/southem/{print  $8 / 3 }' datafile 
# awk '/southem/{print  $8 * 2 }' datafile 
# awk '/southem/{print  $8 % 2 }' datafile 

# awk '$3 ~ /^Suan/  {print "Percentage: "$6 + .2 " Volume:  " $8}' datafile 
# awk '/^western/,/^eastern/' datafile 
# awk '{print ($7 > 4 ? "high "$7 : "low "$7)}' datafile //三目运算符  a?b:c 条件?结果1:结果2 

# awk '$3 == "Chris" {$3 = "Christian"; print $0}' datafile //赋值运算符 
# awk '/Derek/ {$8+=12; print $8}' datafile //$8 += 12等价于$8 = $8 + 12 
# awk '{$7%=3; print $7}' datafile //$7  %= 3等价于$7 = $7 % 3

awk学习笔记2019

文章目录

awk语法格式

awk命令格式

awk ‘pattern’ filename

awk ‘{action}’ filename

awk ‘pattern {action}’ filename

command |awk ‘pattern {action}’

awk工作原理

awk 中与记录字段相关的内部变量：

1. $0： awk变量$0保存当前记录的内容

2. NR： The total number of input records seen so far.

3. FNR： The input record number in the current input file

4. NF：保存记录的字段数，$1 , $2… $100

5. FS：输入字段分隔符，默认空格

6. OFS：输出字段分隔符

7. RS : The input record separator, by default a newline.

8. ORS : The output record separator, by default a newline.

格式化输出：

print函数

printf函数

awk模式和动作

awk支持的模式

正则表达式

比较表达式：

条件表达式：

算术运算：+ - * / %(模) ^(幂2^3)

逻辑操作符和复合模式

范围模式

awk示例:

lab3

expect學習總結

用戶訪問網站攜帶的參數，以及服務端返回的參數

Nginx狀態監控模塊

Windows2012 安裝Oracle11gR2總結

Nginx目錄索引模塊

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

awk学习笔记2019

文章目录

awk语法格式

awk命令格式

awk ‘pattern’ filename

awk ‘{action}’ filename

awk ‘pattern {action}’ filename

command |awk ‘pattern {action}’

awk工作原理

awk 中与记录字段相关的内部变量：

1. $0： awk变量$0保存当前记录的内容

2. NR： The total number of input records seen so far.

3. FNR： The input record number in the current input file

4. NF：保存记录的字段数，$1 , $2… $100

5. FS： 输入字段分隔符，默认空格

6. OFS： 输出字段分隔符

7. RS : The input record separator, by default a newline.

8. ORS : The output record separator, by default a newline.

格式化输出：

print函数

printf函数

awk模式和动作

awk支持的模式

正则表达式

比较表达式：

条件表达式：

算术运算：+ - * / %(模) ^(幂2^3)

逻辑操作符和复合模式

范围模式

awk示例:

lab3

5. FS：输入字段分隔符，默认空格

6. OFS：输出字段分隔符