Linux命令（6）

正则表达式基础

sed中关于pattern space和hold space的小实例一则
http://www.cnblogs.com/aidysun/archive/2013/02/21/2921293.html

正则表达式

正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。  

基本语法

一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串.

• 语法（部分）

• 优先级

grep模式匹配命令

• 基本操作
  grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定：
  参数说明
  -E POSIX扩展正则表达式，ERE
  -G POSIX基本正则表达式，BRE
  -P Perl正则表达式，PCRE
  常用参数

• 使用正则表达式

  • 位置：查找/etc/group文件中以”shiyanlou”为开头的行
    grep ‘shiyanlou’ /etc/group
    grep ‘^shiyanlou’ /etc/group
  • 数量：将匹配以’z’开头以’o’结尾的所有字符串
    $ echo ‘zero\nzo\nzoo’ | grep ‘z.*o’
  • 数量：将匹配以’z’开头以’o’结尾，中间包含一个任意字符的字符串
    echo ‘zero\nzo\nzoo’ | grep ‘z.o’
  • 数量：将匹配以’z’开头,以任意多个’o’结尾的字符串
    echo ‘zero\nzo\nzoo’ | grep ‘zo*’
  • 选择：grep默认是区分大小写的，这里将匹配所有的小写字母
    echo ‘1234\nabcd’ | grep ‘[a-z]’
  • 选择：将匹配所有的数字
    echo ‘1234\nabcd’ | grep ‘[0-9]’
  • 选择：将匹配所有的数字
    echo ‘1234\nabcd’ | grep ‘[[:digit:]]’
  • 选择：将匹配所有的小写字母
    echo ‘1234\nabcd’ | grep ‘[[:lower:]]’
  • 选择：将匹配所有的大写字母
    echo ‘1234\nabcd’ | grep ‘[[:upper:]]’
  • 选择： 将匹配所有的字母和数字，包括0-9,a-z,A-Z
    echo ‘1234\nabcd’ | grep ‘[[:alnum:]]’

  • 选择：将匹配所有的字母
    echo ‘1234\nabcd’ | grep ‘[[:alpha:]]’
    完整的特殊符号及说明

  • 排除字符
    echo ‘geek|good’ | grep ‘[^o]’
    注意:当^放到中括号内为排除字符，否则表示行首。

sed 流编辑器

sed工具在 man 手册里面的全名为"sed - stream editor for filtering and transforming text "，意即，用于过滤和转换文本的流编辑器。在 Linux/UNIX 的世界里敢称为编辑器的工具，大都非等闲之辈，比如前面的"vi/vim(编辑器之神)","emacs(神的编辑器)","gedit"这些个编辑器。sed与上述的最大不同之处大于它是一个非交互式的编辑器，下面我们就开始介绍sed这个编辑器.

• sed 命令基本格式
  sed [参数]… [执行命令] [输入文件]…
  形如：
  sed -i ‘1s/sad/happy/’ test # 表示将test文件中第一行的”sad”替换为”happy”

• sed编辑器的执行命令（这里”执行“解释为名词）
  [n1][,n2]command
  [n1][~step]command
  其中一些命令可以在后面加上作用范围，形如：
  sed -i ‘s/sad/happy/g’ test # g表示全局范围
  sed -i ‘s/sad/happy/4’ test # 4表示指定行中的第四个匹配字符串
  其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作。

• 常用动作指令:

• sed操作举例

  • 我们先找一个用于练习的文本文件：
    cp /etc/passwd ~
  • 打印指定行
  • 打印2-5行
    nl passwd | sed -n ‘2,5p’
  • 打印奇数行
    nl passwd | sed -n ‘1~2p’
  • 行内替换
  • 将输入文本中”shiyanlou” 全局替换为”hehe”,并只打印替换的那一行，注意这里不能省略最后的”p”命令
    sed -n ‘s/shiyanlou/hehe/gp’ passwd
    注意： 行内替换可以结合正则表达式使用。
  • 行间替换
    nl passwd | grep “shiyanlou”
  • 删除第21行
    sed -n ‘21c\www.shiyanlou.com’ passwd

awk文本处理语言

AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。最简单地说，AWK是一种用于处理文本的编程语言工具。

• awk的一些基础概念
  awk所有的操作都是基于pattern(模式)—action(动作)对来完成的，如下面的形式：
  pattern {action}

  你可以看到就如同很多编程语言一样，它将所有的动作操作用一对{}花括号包围起来。其中pattern通常是是表示用于匹配输入的文本的“关系式”或“正则表达式”，action则是表示匹配后将执行的动作。在一个完整awk操作中，这两者可以只有其中一个，如果没有pattern则默认匹配输入的全部文本，如果没有action则默认为打印匹配内容到屏幕。awk处理文本的方式，是将文本分割成一些“字段”，然后再对这些字段进行处理，默认情况下，awk以空格作为一个字段的分割符，不过这不是固定了，你可以任意指定分隔符，下面将告诉你如何做到这一点。
  

• awk命令基本格式
  awk [-F fs] [-v var=value] [-f prog-file | ‘program text’] [file…]
  
  • -F：用于预先指定前面提到的字段分隔符（还有其他指定字段的方式）
  • -v用于预先为awk程序指定变量
  • -f用于指定awk命令要执行的程序文件，或者在不加-f参数的情况下直 接将程序语句放在这里
  • 最后为awk需要处理的文本输入，且可以同时输入多个文本文件
• awk操作
  
  • 先用vim新建一个文本文档
    vim test
    包含如下内容：
    I like linux
    www.shiyanlou.com
  • 使用awk将文本内容打印到终端

"quote>" 不用输入**   
awk '{   
print 
 }' test

• 或者写到一行

awk '{print}' test

• 将test的第一行的每个字段单独显示为一行

> if(NR==1){   
> print $1 "\n" $2 "\n" $3**   
> } else {   
> print}   
> }' test

• 或者

awk '{   
> if(NR==1){   
> OFS="\n"   
> print $1, $2, $3   
> } else {   
> print}   
> }' test

     说明:你首先应该注意的是，这里我使用了awk语言的分支选择语句if,它的使用和很多高级语言如C/C++语言基本一致，如果你有这些语言的基础，这里将很好理解。另一个你需要注意的是NR与OFS，这两个是awk内建的变量，NR表示当前读入的记录数，你可以简单的理解为当前处理的行数，OFS表示输出时的字段分隔符，默认为" "空格，如上图所见，我们将字段分隔符设置为\n换行符，所以第一行原本以空格为字段分隔的内容就分别输出到单独一行了。然后是$N其中N为相应的字段号，这也是awk的内建变量，它表示引用相应的字段，因为我们这里第一行只有三个字段，所以只引用到了$3。除此之外另一个这里没有出现的$0，它表示引用当前记录（当前行）的全部内容。

• awk常用的内置变量