awk使用说明 Tarena High-End IT Training 达内科技公司培训资料.ppt

《awk使用说明 Tarena High-End IT Training 达内科技公司培训资料.ppt》由会员分享，可在线阅读，更多相关《awk使用说明 Tarena High-End IT Training 达内科技公司培训资料.ppt（61页珍藏版）》请在三一办公上搜索。

1、awk使用说明,2010年12月,awk说明,awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。,awk工作原理,awk的处理文本和数据的方式是这样的，它逐行扫描

2、文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。,awk的语法格式,awk pattern filename awk action filename awk pattern action filename,例子,数据来自命令只有动作 ls|awk print只有模式 ls|awk/./数据来自文件只有动作 awk print/etc/devices只有模式 awk/./etc/devices,模式pattern,模式可以是以下任意一个：/正则表达式/：使用

3、通配符的扩展集。关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2%1选择第二个字段比第一个字段长的行。模式匹配表达式：用运算符(匹配)和!(不匹配)等。模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。END：让用户在最后一条输入记录被读取之后发生的动作。,/正则表达式/,正则表达式以/开始/结束c 非元字符c 转义字符（元字符,比如w就表示单词字符）.匹配任意字符 匹配字符串开始$匹配字符串结尾abc.匹配abc.中意义一个字符abc.匹配除abc.

4、中之外的任意一个字符r1|r2 要么r1，要么r2r1r2 连接r1与r2r+匹配一个或多个rr*匹配0个或多个rr?匹配0个或者1个r(r)分组：匹配r,rnr重复n次rn,r重复至少n次rn,mr重复至少n次，最多m次y匹配一个单词开始与结尾的空字符串，其实就是匹配一个以y后字符串开始与结束的单词B匹配一个单词中的空字符串，其实就是匹配包含有B后字符串的单词匹配单词结束的空字符串，其实就是以后字符串结束的单词w匹配单词字符(字母,数字,下划线).W匹配非单词字符匹配缓冲字符串开始位置的空字符串 匹配缓冲字符串结束位置的空字符串,正则表达式举例,gawk/.at/test匹配三个字符，其中后

5、两个是at gawk/th/test以th开头的行 gawk/at$/test以at结尾的行 gawk/thait/test包含that或者thit的行 gawk/thait/test包含th开始的t结尾的中间一个字符不是ai的行,gawk/this|that/test包含this或者that的行 gawk/e+/test包含至少一个e的行 gawk/e*/test包含e与不包含e的行 gawk/thise?/test包含thise与this的行 gawk/thi(se)?/test包含thi与thise的行,gawk/thi(se)1/test包含thise的行gawk/thi(se)1,/

6、test包含thise，thisese,的行gawk/thi(se)1,3/test包含thise,thisese,thisesese的行gawk/thy/test有以th结尾单词的行gawk/yth/test有以th开始的行,gawk“/Bhi/test有单词中包含hi的行，在开头或者结尾不算gawk“/whi/test有单词包含字符hi，并且单词中只能包含字母数字与_的行gawk“/Whi/test有单词包含字符hi，并且单词中可以包含其他字符的行gawk“/test有单词以wo结尾的行,字符类,:alnum:字母数组字符.:alpha:字母字符.:blank:空格与tab字符.:cntr

7、l:控制字符.:digit:数字字符.:graph:可打印且可见字符.(空格是可打印的，但不可见.):lower:小写字符.:print:可打印字符(非控制字符.):punct:标点字符(非字母，数字,控制,或空格的字符).:space:空字符(空格,tab,格式制表字符).:upper:大写字母字符.,字符类举例,gawk“/:digit:w/”test 有单词以一个数字开始，并且只能包含字母数字与_的行,关系表达式,关系表达式匹配那些结果为真的行。关系运算符号=!=匹配正则表达式!不匹配正则表达式关系表达式中有可以使用变量,awk的环境变量,基本概念：记录与域,记录awk把每一个以换行符结

8、束的行称为一个记录。记录分隔符：默认的输入和输出的分隔符都是回车，保存在内建变量ORS和RS中。$0变量：它指的是整条记录。如$awk print$0 test将输出test文件中的所有记录。变量NR：一个计数器，每处理完一条记录，NR的值就增加1。如$awk print NR,$0 test将输出test文件中所有记录，并在记录前显示记录号。,域记录中每个单词称做“域”，默认情况下以空格或tab分隔。awk可跟踪域的个数，并在内建变量NF中保存该值。如$awk print$1,$3 test将打印test文件中第一和第三个以空格分开的列(域)。,域分隔符内建变量FS保存输入域分隔符的值，默认

9、是空格或tab。我们可以通过-F命令行选项修改FS的值。如$awk-F:print$1,$5 test将打印以冒号为分隔符的第一，第五列的内容。可以同时使用多个域分隔符，这时应该把分隔符写成放到方括号中。如$awk-F:t print$1,$3 test，表示以空格、冒号和tab作为分隔符。输出域的分隔符默认是一个空格，保存在OFS中。如$awk-F:print$1,$5 test，$1和$5间的逗号就是OFS的值。,关系表达式举例,gawk-F:$3=74/etc/passwd返回/etc/passwd中第三字段为74的行gawk-F:$1/louis/etc/passwd返回第一字段满足模

10、式/louis/的行,模式运算,pattern&pattern逻辑且pattern|pattern逻辑或pattern?pattern:pattern三目运算(pattern)优先级别!Pattern逻辑否pattern1,pattern2模式范围：返回pattern1与pattern2之间所有行,模式运算举例,gawk-F:/gdm/,/louis/etc/passwd返回匹配/gdm/到匹配/louis/之间的所有行gawk-F:/gdm/|/louis/etc/passwd返回匹配/gdm/或者/louis/的行gawk-F:/gdm/&/louis/etc/passwd返回既匹配/gd

11、m/有匹配/louis/的行gawk-F:!/gdm/etc/passwd返回不匹配/gdm/的行gawk-F:!(/gdm/|/louis/)/etc/passwd返回不匹配/gdm/与/louis/的行gawk-F:2030?/gdm/:/louis/etc/passwd2030为真则匹配/gdm/，否则匹配/louis/,BEGIN模块,BEGIN模块后紧跟着动作块，这个动作块在awk处理任何输入文件之前执行。所以它可以在没有任何输入的情况下进行测试。它通常用来改变内建变量的值，如OFS,RS和FS等，以及打印标题。语法格式：BEGIN语句1;语句n每个语句之间使用；分号分隔如：$awk

12、 BEGINFS=“:”;OFS=“t”;ORS=“nn”print$1,$2,$3 test。上式表示，在处理输入文件以前，域分隔符(FS)被设为冒号，输出文件分隔符(OFS)被设置为制表符，输出记录分隔符(ORS)被设置为两个换行符。$awk BEGINprint TITLE TEST只打印标题。,END模块,END不匹配任何的输入文件，但是执行动作块中的所有动作，它在整个输入文件处理完成后被执行。如$awk ENDprint The number of records is NR test，上式将打印所有被处理的记录数。gawk BEGINFS=:;print=print$1ENDpri

13、nt*/etc/passwdBEGIN与END本质还是动作,动作action,作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内。主要有四部份：变量或数组赋值输出命令内置函数控制流命令,变量或数组赋值,变量定义：变量名=值在awk中，变量不需要定义就可以直接使用，变量类型可以是数字或字符串。例子：gawk a=1;print a$2/etc/passwdgawk BEGINa=1print a+$0/etc/passwdgawk BEGINa=1a+=2;print a$0/etc/passwd,awk可以在命令行中给变量赋值，然后将这个变量传输给awk脚本。在awk

14、脚本中，这些变量使用起来就象是在脚本中建立的一样。如$awk-F:-f awkscript month=4 year=2004 test上式的month和year都是自定义变量，分别被赋值为4和2004。注意:如果参数前面出现test，那么在BEGIN语句中的变量就不能被使用。域变量也可被赋值和修改如$awk$2=100+$1;print test,上式表示，如果第二个域不存在，awk将计算表达式100加$1的值，并将其赋值给$2，如果第二个域存在，则用表达式的值覆盖$2原来的值。如：$awk$1=root$1=test;print test如果第一个域的值是“root”，则把它赋值为“tes

15、t”.注意，字符串一定要用双引号。,内建变量的使用。awk-F:IGNORECASE=1;$1=MARYprint NR,$1,$2,$NFtest把IGNORECASE设为1代表忽略大小写，打印第一个域是mary的记录数、第一个域、第二个域和最后一个域。,变量支持的运算符号,数组,awk中的数组的下标可以是数字和字母，称为关联数组。数组使用gawk BEGINa0=A1;a1=A2ENDprint a0/etc/passwd用变量作为数组下标。gawk-F:BEGINi=0ai+=$1 ENDprint a0/etc/passwd用字符串作为下标。gawk BEGINax=A1;ay=A2E

16、NDprint ax/etc/passwd用域值作为数组的下标。gawk-F:aNR=$1ENDprint a1/etc/passwd,special for循环用于读取关联数组中的元素。gawk-F:aNR=$1ENDfor(x in a)print ax/etc/passwddelete函数用于删除数组元素。gawk-F:aNR=$1ENDfor(x in a)delete ax/etc/passwd,多维数组,数组下标1,下标2,输出命令,close(file,how)关闭文件，管道与合作进程，选项how必须是to或者from，用来关闭双工的管道.getline用下条记录设置$0;设置

17、NF,NR,FNR.getline file用文件file的下条记录设置$0;设置 NF.getline var用下条记录设置var变量;设置 NR,FNR.getline var file用文件file的下条记录设置var变量.,command|getline varcommand|&getline varcommand作为合作进程运行next 停止处理当前记录.nextfile 停止处理当前文件,FILENAME与ARGIND被更新,FNR 重置为1.print 打印当前记录.输出记录用ORS变量终止.,print expr-list 打印表达式.每个表达式由变量OFS分隔，输出记录用OR

18、S变量终止.print expr-list file 打印表达式到文件.每个表达式由变量OFS分隔，输出记录用ORS变量终止.printf fmt,expr-list 格式化打印输出.printf fmt,expr-list file 格式化打印输出到文件.system(cmd-line)执行cmd-line,返回退出码.(在非POSIX系统可能不支持)fflush(file)刷新管道与文件的缓冲数据,没有文件，则是是标准输出.,getline的例子,gawk-F:getline d;print NR d/etc/passwdgawk-F:getline d/root/test;print d

19、/etc/passwd请注意其中文件名的双引号的使用gawk-F:date|getline d;print d/etc/passwd注意其中date的双引号的使用,print与printf的例子,gawk-F:print FILENAME$1/etc/passwdgawk-F:printf%d:%s%sn,NR,FILENAME,$1/etc/passwd,printf支持的格式,%c 字符输出%d,%i 整数输出%e,%E 小数科学记数法输出%f 普通格式小数输出%g,%G 最短小数格式输出%o 8进制整数输出%u 无符号整数输出%s 字符串输出%x,%X 16进制整数输出%的原义转换,pr

20、intf输出格式的辅助选项,count$使用指定位置的参数最为输出*count$使用指定位置的参数作为格式描述的数据-控制对齐方式+是否显示+符号#自动可选格式0 填充0空格 填充空格width 输出宽度.prec 输出精度,printf的例子,gawk-F:printf%4$d:%5$s%6$sn,NR,FILENAME,$1,5,20,10/etc/passwd指定参数位置gawk-F:printf%10.2fn,50000.8888/etc/passwd指定输出长度与精度gawk-F:printf%1$10.2fn,50000.8888,10,7,2/etc/passwd指定输出位置与宽

21、度与精度gawk-F:printf%1$*2$.*4$fn,50000.8888,10,7,2/etc/passwd用2与4位置的参数作为宽度与精度,其他IO函数的例子,gawk-F:system(echo=);print$1/etc/passwd,内置函数,数学函数字符串函数日期函数位操作函数国际化函数,数学函数,atan2(y,x)反正切cos(expr)余弦exp(expr)自然指数int(expr)取整log(expr)自然对数rand()随机数sin(expr)正弦sqrt(expr)平方根srand(expr)随机种,字符串函数,asort(s,d)返回s中数组个数,s被排序,且下

22、标从1开始。如果d指定，排序结果存放在d中，s不改变。asorti(s,d)与asort作用一样。只是排序后，s中的值被替换成s的下标gensub(r,s,h,t)在目标字符串t中所有匹配正则表达式r，h是g或者G开始的字符串，则全部被替换成s，h是数字就替换指定位置的匹配字符串，如果t没有指定，则使用$0。t不会被修改，替换后的文本作为返回值返回，s可以使用反响引用n指定匹配模版替换,gsub(r,s,t)作用同上，但是全局替换，返回替换次数，并且原字符串被修改,字符索引从1开始length(s)返回字符串长度，或者数组长度，不指定t，则使用$0。match(s,r,a)返回r在s中匹配的位

23、置，没有匹配则返回0 同时设置RSTART与RLENGTH变量.如果提供数组a，则使用数组中对应位置的字符串替换rsplit(s,a,r)使用r正则表达式把字符串s分解成数组，r不指定，则使用FS变量，最后返回分解的个数,sprintf(fmt,expr-list)返回格式化字符串，.strtonum(str)把字符串转换成整数sub(r,s,t)使用r匹配方式使用s替换tsubstr(s,i,n)取子串tolower(str)小写转换toupper(str)大写转换,字符串函数例子,gawk-F:BEGINa0=5;a1=2;a2=4;a4=3ENDb=asort(a);print b:a1

24、 a2 a3 a4/dev/nullgawk-F:BEGINa0=5;a1=2;a2=4;a4=3ENDb=asorti(a);print b:a1 a2 a3 a4/dev/null,日期函数,mktime(datespec)按照秒的单位返回日期，datespec是格式字符串YYYY MM DD HH MM SS DST.strftime(format,timestamp)格式化日期systime()返回当前系统日期,日期函数支持的格式,位操作函数,and(v1,v2)compl(val)取反lshift(val,count)左移or(v1,v2)rshift(val,count)右移xor

25、(v1,v2)异或,国际化函数,bindtextdomain(directory,domain)指定mo文件目录，缺省domain是TEXTDOMAIN.目录为null（），返回当前domain.dcgettext(string,domain,category)返回被翻译的字符串，缺省domain是TEXTDOMAIN.缺省category是LC_MESSAGES.dcngettext(string1,string2,number,domain,category)返回string1与string2的复数形式翻译,自定义函数,function name(parameter list)statem

26、ents return expr注意：function可以使用func,控制流命令,if(condition)statement else statement while(condition)statementdo statement while(condition)for(expr1;expr2;expr3)statementfor(var in array)statementbreakcontinuedelete arrayindexdelete arrayexit expression statements,管道与重定向输出,print.fileprint.|commandprint.|

27、&command,gawk参数,-F fs or-field-separator fs指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。-v var=value or-asign var=value赋值一个用户定义变量。-f scripfile or-file scriptfile从脚本文件中读取awk命令。-mf nnn and-mr nnn对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。,-W compact or-compat,-W traditional

28、 or-traditional在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。-W copyleft or-copyleft,-W copyright or-copyright打印简短的版权信息。-W help or-help,-W usage or-usage打印全部awk选项和每个选项的简短说明。-W lint or-lint打印不能向传统unix平台移植的结构的警告。,-W lint-old or-lint-old打印关于不能向传统unix平台移植的结构的警告。-W posix打开兼容模式。但有以下限制，不识别：x、函数关键字、func、换码序

29、列以及当fs是一个空格时，将新行作为一个域分隔符；操作符*和*=不能代替和=；fflush无效。-W re-interval or-re-inerval允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式:alpha:。-W source program-text or-source program-text使用program-text作为源代码，可与-f命令混用。-W version or-version打印bug报告信息的版本。,awk支持的转义字符,A literal backslash.a The“alert”character;b backspace.f form-feed.n newline.r carriage return.t horizontal tab.v vertical tab.xhex hex digitsddd octal digits.c The literal character c,特殊文件,/dev/stdin The standard input./dev/stdout The standard output./dev/stderr The standard error output./dev/fd/n The file associated with the open file descriptor n.,