linux正则表达式.ppt

《linux正则表达式.ppt》由会员分享，可在线阅读，更多相关《linux正则表达式.ppt（76页珍藏版）》请在三一办公上搜索。

1、正则表达式,曾树洪,正则表达式,很多不同的unix命令都采用一种便捷一致的方法来说明匹配模式，这种方法就是正则表达式,先学习一个命令：grep,grep-acinv 搜索字符串 filename-c:计算找到搜索字符串 的次数。-n:输出行号-v:反向选择-l只给出包含给定模式的文件列表，而不给出文件中的匹配行-o 只输出匹配的内容,搜索特定字符串,$grep n the express$grep vn the express$grep-l the*.c 在所有源文件中查找the,列出包含the 的文件名,的使用,$grep n taest express$grep n oo express$

2、grep n goo express$grep n a-zoo express$grep n 0-9 express,和$,$grep n the express$grep n a-z express$grep n a-zA-Z express$grep n.$express$grep n$express$grep v$express|grep v#,.和*,$grep n g.d express$grep n ooo*express$grep n goo*g express$grep n g*g express$grep n g.*g express$grep n 0-90-9*expres

3、s,$grep n o2 express$grep n go2,5g express$grep n go2,g express,字符类 描述,:alnum:字母数字 a-z A-Z 0-9:alpha:字母 a-z A-Z:blank:空格或制表键:cntrl:任何控制字符:digit:数字 0-9:graph:任何可视字符（无空格）:lower:小写 a-z:print:非控制字符:punct:标点字符:space:空格:upper:大写 A-Z:xdigit:十六进制数字 0-9 a-f A-F,字符类 描述,注意区别以下两个命令：grep-n:space:are expressgrep-

4、n:space:*are express,保存匹配的字符串：(),将捕获的正则表达式匹配的字符串存储在编号为1到9的“寄存器”中。$grep n o2 express$grep n(.)express 匹配行首的第一个字符$grep n(.)1 express 如果一行的头两个字符相同，就匹配他们$grep n(.).*1$express 匹配一行中头一个字符跟最后一个字符相同的行。,正则表达式与命令行特殊符号的区别,$ls l*ls|grep n.*$ls z*ls|grep n z.*$ls!z*,sed的使用,非交互式行编辑器顺序逐行将文件读入到内存中。然后，它执行为该行指定的所有操作，

5、并在完成请求的修改之后将该行放回到内存中，以将其转储至终端,sed工作原理图,sed的语法,sed address1,address2 options command filename,sed删除功能d,d：Delete pattern space.Start next cycle.观察命令结果：sed-e d express 删除指定行：sed-e 1d express地址范围：sed-e 1,10d express从一行开始每隔一行删一行：sed 01d express从第二行开始每隔7行删一行：sed17d express,sed删除功能,带规则表达式的地址删除注释行：sed-e/#/d

6、/etc/services|more删除空行：sed-e/$/d express 删除第一行到空行：sed-e 1，/$/d express 删除最后一行：sed-e$d express 删除包含apple的行到包含Her的行：sed-e/apple/,/Her/d express,sed打印功能,p：打印命令注意观测下面两个命令的区别:sed-n 1p expresssed 1p express-n 安静模式,练习题,打印tot文件中从包含 BEGIN 的行开始，并且以包含 END 的行结束的文本块：思考：1 如果文件中没有“BEGIN”会怎样？2 如果文件中没有“END”会怎样？,练习题,

7、只打印 C 源文件中的 main()函数,练习题,删除tot文件中从BEGIN开到END结束的块中包含Name的行sed/BEGIN/,/END/Name/d;tot,sed功能:替换,s/old value/new value/实例:$echo my name is zsh|sed s/zsh/shz/,多次修改,1 使用 e 选项实例:$echo my name is zsh|sed-e s/is/are/-e s/zsh/shz/$,多次修改,2 用分号来分隔命令实例:$echo my name is zsh|sed s/is/are/;s/zsh/shz/注意分号必须是紧跟斜线之后的下

8、一个字符,全局替换,gsed默认处理每一行中出现的第一个选定序列,如果要处理出现的每一个项目,使用g实例:$echo my name is zsh zsh|sed s/zsh/shz/g,替换每行第N个匹配,$echo my name is zsh zsh|sed s/zsh/shz/1$echo my name is zsh zsh|sed s/zsh/shz/2,练习题,cat myfile.htmlThis is what I meant.删除HTML标记，也就是要得到：This is what I meant.,sed替换功能案例,用sed实现unix2dos命令功能unix2dos

9、expresscat-v expresssed-i s/.$/express思考，怎样用sed命令将unix格式文件转换成dos格式？,案例,案例：老大要求我替换一个大容量文件(大约6-7G)的某些信息，直接用vim打开手动编辑的话那速度简直是苦不堪言，于是我再次想到了awk。仅仅是一些替换工作就用awk太小题大做了，而且在我用awk处理的时候出了一个大问题：文件太大，awk无法打开，我没有对这样的异常做防御，导致后面的操作出现了一连串的问题，最终的结果就是我用了一个空文本替换了刚才那个6-7G的文件。幸好还有备份，汗！。正在我。，老大已经搞好了，就是用了一行sed：sed-i XXX-e s

10、/XXX/XXX/g,y命令,y是一个管局命令,拒绝使用后缀flag/gsed y/1234567890/abcdefghij/sedy,nN命令,n N Read/append the next line of input into the pattern space.打印奇数行：cat-n express|sed-n p;n 打印偶数行：cat-n express|sed-n n;p 思考下面的功能:cat-n express|sed-n p;N cat-n express|sed-n N;p cat-n express|sed-n p;d cat-n express|sed d;ncat

11、-n express|sed n;dcat-n express|sed 1d;n;d,案例,输出匹配行的下一行 sed-n/apple/n;p express区别：sed-n/apple/n;p express,sed更多功能,h：拷贝模板块的内容到内存中的缓冲区。H：追加模板块的内容到内存中的缓冲区 g：获得内存缓冲区的内容并替代当前模板块中的文本。G：获得内存缓冲区的内容并追加到当前模板块文本的后面=:出行号x：互换模板块中的文本和缓冲区中的文本。,案例,为文件加行号sed=express|sed N;s/n/:/给非空行加行号sed/./=express|sed/./N;s/n/:/,案

12、例,删除连续重复行sed$!N;/(.*)n1$/!P;D chongfu,案例,用sed实现tac功能sed-e 1!G;h;$!d express,案例,从字串中解析出两个子串(前2各字符和后9个字符)echo WeLoveChinaUnix|sed-e H;s/(.).*/1/;x;s/.*(.9)$/1/;x;G;s/n/备注：该例仅仅说明各种命令的功能，如果单纯为了完成任务，以下命令更简单：echo WeLoveChinaUnix|sed s/(.).*(.9)$/1 2/,案例,观测脚本ip的内容并分析其功能注意观察ifconfig ifconfig|./ip,练习题,文件a的内容

13、如下：1234567执行sed N;$!D a 结果？,保存输出文件,$sed/two/s/1/2/sample_one sample_two直接修改原文件：-ised-i$d express,脚本文件,$cat sedlist/two/s/1/2/three/s/1/3/注意当调用-f 选项时，在源文件内或命令行中不使用撇号,$sed-f sedlist sample_one one 1 two 2 three 3 one 1 two 2 two 2 three 3$,“-f”选项,Sed功能3:增加和插入文本,$sed$a This is where we stop the test sa

14、mple_one one 1 two 1 three 1 one 1 two 1 two 1 three 1 This is where we stop the test$,注意:美元符号($)表示文本将被添加到文件的末尾。反斜线()是必需的，它表示将插入一个回车符。,Sed功能3:增加和插入文本,$sed 3a This is where we stop the test sample_one one 1 two 1 three 1 This is where we stop the test one 1 two 1 two 1 three 1$,Sed功能3:增加和插入文本,$sed 3i

15、 This is where we stop the test sample_one one 1 two 1 This is where we stop the test three 1 one 1 two 1 two 1 three 1$,添加和插入的区别:添加跟在指定的行之后，而插入从指定的行开始,读写文件,$sed/two/s/1/2/three/s/1/3/1,3 w sample_three sample_one one 1 two 2 three 3 one 1 two 2 two 2 three 3$,$cat sample_three one 1 two 2 three 3$,

16、修改命令,替换是对字符逐个进行，而修改功能与删除类似，它影响整行：$sed/two/c We are no longer using two sample_one,提前退出,$sed/two/s/1/2/three/s/1/3/5q sample_one one 1 two 2 three 3 one 1 two 2$,$sed/two/s/1/2/three/s/1/3/three/q sample_one one 1 two 2 three 3$,提前退出,思考:sed 110q filename 有什么作用？,cut,cut-d 分隔字元-cf fields 參數說明：-d：後面接的是用

17、來分隔的字元，預設是空白字元在用cut从文件中析取字段时，如果没有指定分隔符，默认分隔符是制表符。-c：後面接的是第幾個字元-f：後面接的是第幾個區塊？,cut,$cut/etc/passwd|cut-d:-f 1$last|cut-d f 1$last|cut d f 3,5$last|cut c 1-20$last|cut c 12-,paste,paste格式为:paste-d-s-file1 file2-d 指定不同于空格或tab键的域分隔符。例如用分隔域，使用-d。-s 将每个文件合并成行而不是按行粘贴。-使用标准输入。例如ls-l|paste-，意即只在一列上显示输出。粘贴两个不同

18、来源的数据时，首先需将其分类，并确保两个文件行数相同,paste：,$cat namestongfred$cat numbers(0752)2121211(0752)2121212,$paste names numberstong(0752)2121211fred(0752)2121212$paste numbers names(0752)2121211 tong(0752)2121212 fred,paste,$paste d:numbers names(0752)2121211:tong(0752)2121212:fred,$paste s names numbers tong fred(

19、0752)2121211(0752)2121212$ls/etc|paste-d-$ls/etc|paste-d-,sort,排序-u 在结果中去掉重复行-r 反序排序-o 指定输出文件-n 使用算术方法排序（默认是字符）-kn 按指定字段排序-t 分隔符（默认是TAB健）,测试是否分类排序,cat video.txtvideo.txt包含了上个季度家电商场的租金情况。各域为：（1）名称，（2）供货区代码，（3）本季度租金，（4）本年租金。域分隔符为冒号-c 测试是否分类排序,如果没有，出现错误信息，如果有，没有信息输出注意观测以下命令sort-c video.txt sort video.t

20、xt video2.txtsort-c video2.txt,保存输出,-o 保存输出sort video.txt video2.txt 等同 sort video.txt-o video2.txt注意观测以下命令结果：cp video.txt videosort video-o videocat videosort video videocat video,更多功能,反向排序：sort-r video.txt按指定域分类：sort-t:-k3 video.txt 按数字大小排序：sort-t:-k3-n video.txt 删掉重复行：sort-u video.txt,更多功能,sort v

21、ideo.txt video2.txt sort-c video2.txt 测试video2.txt是否分类 sort-uc video2.txt 测试video2.txt是否有重复行,更多功能,同时处理多个文件 sort-m file1 file2 file3 outfile 在将所有输入文件一起进行 sort-m 之前，每个文件都必须经过排序 方法2：cat file1 file2 file3|sort outfile,uniq,去掉（连续）重复行 一般u n i q假定文件已分类，并且结果正确。（所以一般是配套sort使用）-i 忽略大小写-c 计算行出现的次数-d 找出重复行,除去重复

22、行,注意观测以下命令cat uniq.txtuniq uniq.txtsort uniq.txt|uniq,打印每一重复行出现次数,-cUniq-c uniq.txtSort uniq.txt uq.txtUniq-c uq.txt,只显示不重复行,-uUniq-u uq.txt,显示重复出现的不唯一行,-duniq-d uq.txt,对特定域进行测试,-ffn表示对第n+1列开始进行测试cat part.txtuniq-f4 parts.txtuniq-f5 parts.txt,应用实例,系统日志的某些项会复制许多次，这使得查看日志很难。使用简单的 uniq 无法完成任务，因为每一项都以不同

23、的时间戳记开头。但是如果您告诉它跳过所有的时间字段，您的日志一下子就会变得更加便于管理。试一试：uniq-f3/var/log/messages,join连接两个文件,将两个包含有共同字段的文件连接在一起，默认情况，2个文件的第一字段是共同字段。cat name.txtcat town.txtjoin name.txt town.txtname.txt有5行，town.txt有5行，join处理后的文件只有4行。,不匹配连接,join-a1-a2 names.txt town.txtjoin-a1 names.txt town.txt,选择部分列连接,join-o 1.1,2.2 names.

24、txt town.txt结果将只有name.txt的第一列和town.txt的第二列,指定其他列连接,如果共同的列不是第一列，需要用到这种方式cat perscat pers2注意观测：join pers pres2join-j1 4-j2 2 pers pers2,tr,tr from-chars to-chars 转换来自标准输入的字符from-chars和 to-chars是一个或多个字符-s 压缩to-chars中重复的字符$tr e x express$tr a-z A-Z express,案例,下面文件包含了一些打印错误。这种情况时常发生，例如不小心按住一个键不放cat trrr.

25、txtAnd the cowwwwws went homeeeeeeeeeeeee Or did theyyyyyyyyyyyyy用-s选项去除重复出现的字符tr-s a-z trrr.txt注意：不能这样tr-s a-z trrr.txt,案例,将dos文件转换成unix文件cat-A exdostr-s r n exdos|cat-A,案例,删除空行cat trkh.txttr-s n trkh.txt如果用sed命令？,习题,写出实现下列功能地命令:a.查出所有用户名至少有4个字符地己登录用户b.查出系统中所有用户标识号大于99的用户c.系统中用户标识号大于99的用户数d.按文件大小的降序列出目录中的所有文件。,练习题,如何中截取文件iplist不包括在()中的数据 10.198.129.8(3382)10.198.148.10(1265)10.198.128.231(2348)10.198.128.94(2037)10.198.128.94(1955)10.198.128.231(2165)10.198.128.241(51733)10.198.128.121(1233),