文本主要是记录在学习实验楼中的Linux基本入门课程时，所做的学习笔记。
如有版权问题请联系：[email protected]
掌握基本命令：sed ,grep ,awk的用法
掌握正则表达式符号和语法
语法
| 字符 | 描述 |
|---|---|
| \ | 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\”匹配“\”而“(”则匹配“(”。 |
| ^ | 匹配输入字符串的开始位置。 |
| $ | 匹配输入字符串的结束位置。 |
| {n} | n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 |
| {n,} | n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 |
| {n,m} | m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 |
| * | 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。 |
| + | 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 |
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。 |
| ? | 当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 |
| . | 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。 |
| (pattern) | 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“(”或“)”。 |
| x｜y | 匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。 |
| [xyz] | 字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符。 |
| [^xyz] | 排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 |
| [a-z] | 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
| [^a-z] | 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 |
优先级
优先级为从上到下从左到右，依次降低：
| 运算符 | 说明 |
|---|---|
| \ | 转义符 |
| (), (?:), (?=), [] | 括号和中括号 |
| *、+、?、{n}、{n,}、{n,m} | 限定符 |
| ^、$、\任何元字符 | 定位点和序列 |
| ｜ | 选择 |
grep模式匹配命令
grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定：
| 参数 | 说明 |
|---|---|
| -E | POSIX扩展正则表达式，ERE |
| -G | POSIX基本正则表达式，BRE |
| -P | Perl正则表达式，PCRE |
在通过grep命令使用正则表达式之前，先介绍一下它的常用参数：
| 参数 | 说明 |
|---|---|
| -b | 将二进制文件作为文本来进行匹配 |
| -c | 统计以模式匹配的数目 |
| -i | 忽略大小写 |
| -n | 显示匹配文本所在行的行号 |
| -v | 反选，输出不匹配行的内容 |
| -r | 递归匹配查找 |
| -A n | n为正整数，表示after的意思，除了列出匹配行之外，还列出后面的n行 |
| -B n | n为正整数，表示before的意思，除了列出匹配行之外，还列出前面的n行 |
| –color=auto | 将输出中的匹配项设置为自动颜色显示 |
下面包含完整的特殊符号及说明：
| 特殊符号 | 说明 |
|---|---|
| [:alnum:] | 代表英文大小写字节及数字，亦即 0-9, A-Z, a-z |
| [:alpha:] | 代表任何英文大小写字节，亦即 A-Z, a-z |
| [:blank:] | 代表空白键与 [Tab] 按键两者 |
| [:cntrl:] | 代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等 |
| [:digit:] | 代表数字而已，亦即 0-9 |
| [:graph:] | 除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键 |
| [:lower:] | 代表小写字节，亦即 a-z |
| [:print:] | 代表任何可以被列印出来的字节 |
| [:punct:] | 代表标点符号 (punctuation symbol)，亦即：” ’ ? ! ; : # $… |
| [:upper:] | 代表大写字节，亦即 A-Z |
| [:space:] | 任何会产生空白的字节，包括空白键, [Tab], CR 等等 |
| [:xdigit:] | 代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节 |
注意：之所以要使用特殊符号，是因为上面的[a-z]不是在所有情况下都管用，这还与主机当前的语系有关，即设置在LANG环境变量的值，zh_CN.UTF-8的话[a-z]，即为所有小写字母，其它语系可能是大小写交替的如，”a A b B…z Z”，[a-z]中就可能包含大写字母。所以在使用[a-z]时请确保当前语系的影响，使用[:lower:]则不会有这个问题。
sed 留编辑器
sed -i '1s/sad/happy/' test # 表示将test文件中第一行的"sad"替换为"happy"| 参数 | 说明 |
|---|---|
| -n | 安静模式，只打印受影响的行，默认打印输入数据的全部内容 |
| -e | 用于在脚本中添加多个执行命令一次执行，在命令行中执行多个命令通常不需要加该参数 |
| -f | filename 指定执行filename文件中的命令 |
| -r | 使用扩展正则表达式，默认为标准正则表达式 |
| -i | 将直接修改输入文件内容，而不是打印到标准输出设备 |
sed执行命令格式：
[n1][,n2]command
[n1][~step]command其中一些命令可以在后面加上作用范围，形如：
$ sed -i 's/sad/happy/g' test # g表示全局范围
$ sed -i 's/sad/happy/4' test # 4表示指定行中的第四个匹配字符串
其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作，下面为一些常用动作指令：
| 命令 | 说明 |
|---|---|
| s | 行内替换 |
| c | 整行替换 |
| a | 插入到指定行的后面 |
| i | 插入到指定行的前面 |
| p | 打印指定行，通常与-n参数配合使用 |
| d | 删除指定行 |
awk文本处理语言
虽然很强大，感觉暂时用不到，先付个常用的内置变量表吧
| 变量名 | 说明 |
|---|---|
| FILENAME | 当前输入文件名，若有多个文件，则只表示第一个。如果输入是来自标准输入，则为空字符串 |
| $0 | 当前记录的内容 |
| $N | N表示字段号，最大值为NF变量的值 |
| FS | 字段分隔符，由正则表达式表示，默认为” “空格 |
| RS | 输入记录分隔符，默认为”\n”，即一行为一个记录 |
| NF | 当前记录字段数 |
| NR | 已经读入的记录数 |
| FNR | 当前输入文件的记录数，请注意它与NR的区别 |
| OFS | 输出字段分隔符，默认为” “空格 |
| ORS | 输出记录分隔符，默认为”\n” |