pl0语法分析 词法分析 语义分析.docx

pl0语法分析 词法分析 语义分析作者：love冥天 出处： PL/0语言是Pascal语言的一个子集，我们这里分析的PL/0的编译程序包括了对PL/0语言源程序进行分析处理、编译生成类PCODE代码，并在虚拟机上解释运行生成的类PCODE代码的功能。 PL/0语言编译程序采用以语法分析为核心、一遍扫描的编译方法。词法分析和代码生成作为独立的子程序供语法分析程序调用。语法分析的同时，提供了出错报告和出错恢复的功能。在源程序没有错误编译通过的情况下，调用类PCODE解释程序解释执行生成的类PCODE代码。 词法分析子程序分析： 词法分析子程序名为getsym，功能是从源程序中读出一个单词符号，把它的信息放入全局变量sym、id和num中，语法分析器需要单词时，直接从这三个变量中获得。getsym过程通过反复调用getch子过程从源程序过获取字符，并把它们拼成单词。getch过程中使用了行缓冲区技术以提高程序运行效率。 词法分析器的分析过程：调用getsym时，它通过getch过程从源程序中获得一个字符。如果这个字符是字母，则继续获取字符或数字，最终可以拼成一个单词，查保留字表，如果查到为保留字，则把sym变量赋成相应的保留字类型值；如果没有查到，则这个单词应是一个用户自定义的标识符，把sym置为ident，把这个单词存入id变量。查保留字表时使用了二分法查找以提高效率。如果getch获得的字符是数字，则继续用getch获取数字，并把它们拼成一个整数，然后把sym置为number，并把拼成的数值放入num变量。如果识别出其它合法的符号，则把sym则成相应的类型。如果遇到不合法的字符，把sym置成nul。 语法分析子程序分析： 语法分析子程序采用了自顶向下的递归子程序法，语法分析同时也根据程序的语意生成相应的代码，并提供了出错处理的机制。语法分析主要由分程序分析过程、常量定义分析过程、变量定义分析过程、语句分析过程、表达式处理过程、项处理过程、因子处理过程和条件处理过程构成。这些过程在结构上构成一个嵌套的层次结构。除此之外，还有出错报告过程、代码生成过程、测试单词合法性及出错恢复过程、登录名字表过程、查询名字表函数以及列出类PCODE代码过程作过语法分析的辅助过程。 由PL/0的语法图可知：一个完整的PL/0程序是由分程序和句号构成的。因此，本编译程序在运行的时候，通过主程序中调用分程序处理过程block来分析分程序部分，然后，判断最后读入的符号是否为句号。如果是句号且分程序分析中未出错，则是一个合法的PL/0程序，可以运行生成的代码，否则就说明源PL/0程序是不合法的，输出出错提示即可。 下面按各语法单元分析PL/0编译程序的运行机制。 分程序处理过程： 语法分析开始后，首先调用分程序处理过程处理分程序。过程入口参数置为：0层、符号表位置0、出错恢复单词集合为句号、声明符或语句开始符。进入block过程后，首先把局部数据段分配指针设为3，准备分配3个单元供运行期存放静态链SL、动态链DL和返回地址RA。然后用tx0记录下当前符号表位置并产生一条jmp指令，准备跳转到主程序的开始位置，由于当前还没有知到主程序究竟在何处开始，所以jmp的目标暂时填为0，稍后再改。同时在符号表的当前位置记录下这个jmp指令在代码段中的位置。在判断了嵌套层数没有超过规定的层数后，开始分析源程序。首先判断是否遇到了常量声明，如果遇到则开始常量定义，把常量存入符号表。接下去用同样的方法分析变量声明，变量定义过程中会用dx变量记录下局部数据段分配的空间个数。然后如果遇到procedure保留字则进行过程声明和定义，声明的方法是把过程的名字和所在的层次记入符号表，过程定义的方法就是通过递归调用block过程，因为每个过程都是一个分程序。由于这是分程序中的分程序，因此调用block时需把当前的层次号lev加一传递给block过程。分程序声明部分完成后，即将进入语句的处理，这时的代码分配指针cx的值正好指向语句的开始位置，这个位置正是前面的jmp指令需要跳转到的位置。于是通过前面记录下来的地址值，把这个jmp指令的跳转位置改成当前cx的位置。并在符号表中记录下当前的代码段分配地址和局部数据段要分配的大小。生成一条int指令，分配dx个空间，作为这个分程序段的第一条指令。下面就调用语句处理过程statement分析语句。分析完成后，生成操作数为0的opr指令，用于从分程序返回。 常量定义过程： 通过循环，反复获得标识符和对应的值，存入符号表。符号表中记录下标识符的名字和它对应的值。 变量定义过程： 与常量定义类似，通过循环，反复获得标识符，存入符号表。符号表中记录下标识符的名字、它所在的层及它在所在层中的偏移地址。 语句处理过程： 语句处理过程是一个嵌套子程序，通过调用表达式处理、项处理、因子处理等过程及递归调用自己来实现对语句的分析。语句处理过程可以识别的语句包括赋值语句、read语句、write语句、call语句、if语句、while语句。当遇到begin/end语句时，就递归调用自己来分析。分析的同时生成相应的类PCODE指令。 赋值语句的处理： 首先获取赋值号左边的标识符，从符号表中找到它的信息，并确认这个标识符确为变量名。然后通过调用表达式处理过程算得赋值号右部的表达式的值并生成相应的指令保证这个值放在运行期的数据栈顶。最后通过前面查到的左部变量的位置信息，生成相应的sto指令，把栈顶值存入指定的变量的空间，实现了赋值操作。 read语句的处理： 确定read语句语法合理的前提下，生成相应的指令：第一条是16号操作的opr指令，实现从标准输入设备上读一个整数值，放在数据栈顶。第二条是sto指令，把栈顶的值存入read语句括号中的变量所在的单元。 write语句的处理： 与read语句相似。在语法正确的前提下，生成指令：通过循环调用表达式处理过程分析write语句括号中的每一个表达式，生成相应指令保证把表达式的值算出并放到数据栈顶并生成14号操作的opr指令，输出表达式的值。最后生成15号操作的opr指令输出一个换行。 call语句的处理： 从符号表中找到call语句右部的标识符，获得其所在层次和偏移地址。然后生成相应的cal指令。至于调用子过程所需的保护现场等工作是由类PCODE解释程序在解释执行cal指令时自动完成的。 if语句的处理： 按if语句的语法，首先调用逻辑表达式处理过程处理if语句的条件，把相应的真假值放到数据栈顶。接下去记录下代码段分配位置，然后生成条件转移jpc指令，转移地址未知暂时填0。然后调用语句处理过程处理then语句后面的语句或语句块。then后的语句处理完后，当前代码段分配指针的位置就应该是上面的jpc指令的转移位置。通过前面记录下的jpc指令的位置，把它的跳转位置改成当前的代码段指针位置。 begin/end语句的处理： 通过循环遍历begin/end语句块中的每一个语句，通过递归调用语句分析过程分析并生成相应代码。 while语句的处理： 首先用cx1变量记下当前代码段分配位置，作为循环的开始位置。然后处理while语句中的条件表达式生成相应代码把结果放在数据栈顶，再用cx2变量记下当前位置，生成条件转移指令，转移位置未知，填0。通过递归调用语句分析过程分析do语句后的语句或语句块并生成相应代码。最后生成一条无条件跳转指令jmp，跳转到cx1所指位置，并把cx2所指的条件跳转指令的跳转位置改成当前代码段分配位置。 表达式、项、因子处理： 根据PL/0语法可知，表达式应该是由正负号或无符号开头、由若干个项以加减号连接而成。而项是由若干个因子以乘除号连接而成，因子则可能是一个标识符或一个数字，或是一个以括号括起来的子表达式。根据这样的结构，构造出相应的过程，递归调用就完成了表达式的处理。把项和因子独立开处理解决了加减号与乘除号的优先级问题。在这几个过程的反复调用中，始终传递fsys变量的值，保证可以在出错的情况下跳过出错的符号，使分析过程得以进行下去。 逻辑表达式的处理： 首先判断是否为一元逻辑表达式：判奇偶。如果是，则通过调用表达式处理过程分析计算表达式的值，然后生成判奇指令。如果不是，则肯定是二元逻辑运算符，通过调用表达式处理过程依次分析运算符左右两部分的值，放在栈顶的两个空间中，然后依不同的逻辑运算符，生成相应的逻辑判断指令，放入代码段。 判断单词合法性与出错恢复过程分析： 本过程有三个参数，s1、s2为两个符号集合，n为出错代码。本过程的功能是：测试当前符号是否在s1集合中，如果不在，就通过调用出错报告过程输出出错代码n，并放弃当前符号，通过词法分析过程获取一下单词，直到这个单词出现在s1或s2集合中为止。 这个过程在实际使用中很灵活，主要有两个用法： 在进入某个语法单位时，调用本过程，检查当前符号是否属于该语法单位的开始符号集合。若不属于，则滤去开始符号和后继符号集合外的所有符号。 在语法单位分析结束时，调用本过程，检查当前符号是否属于调用该语法单位时应有的后继符号集合。若不属于，则滤去后继符号和开始符号集合外的所有符号。 通过这样的机制，可以在源程序出现错误时，及时跳过出错的部分，保证语法分析可以继续下去。 语法分析过程中调用的其它子过程相对比较简单，请参考源程序的注释。 类PCODE代码解释执行过程分析 这个过程模拟了一台可以运行类PCODE指令的栈式计算机。它拥有一个栈式数据段用于存放运行期数据、拥有一个代码段用于存放类PCODE程序代码。同时还拥用数据段分配指针、指令指针、指令寄存器、局部段基址指针等寄存器。 解释执行类PCODE代码时，数据段存储分配方式如下： 对于源程序的每一个过程，在被调用时，首先在数据段中开辟三个空间，存放静态链SL、动态链DL和返回地址RA。静态链记录了定义该过程的直接外过程运行时最新数据段的基地址。动态链记录调用该过程前正在运行的过程的数据段基址。返回地址记录了调用该过程时程序运行的断点位置。对于主程序来说，SL、DL和RA的值均置为0。静态链的功能是在一个子过程要引用它的直接或间接父过程的变量时，可以通过静态链，跳过个数为层差的数据段，找到包含要引用的变量所在的数据段基址，然后通过偏移地址访问它。 在过程返回时，解释程序通过返回地址恢复指令指针的值到调用前的地址，通过当前段基址恢复数据段分配指针，通过动态链恢复局部段基址指针。实现子过程的返回。对于主程序来说，解释程序会遇到返回地址为0的情况，这时就认为程序运行结束。 解释程序过程中的base函数的功能，就是用于沿着静态链，向前查找相差指定层数的局部数据段基址。 这在使用sto、lod等访问局部变量的指令中会经常用到。 类PCODE代码解释执行的部分通过循环和简单的case判断不同的指令，做出相应的动作。当遇到主程序中的返回指令时，指令指针会指到0位置，把这样一个条件作为终至循环的条件，保证程序运行可以正常的结束。 * program pl0(input,output); (* PL/0编译程序与代码生成解释运行程序 *) (* PL/0 compiler with code generation *) label 99; (* 声明出错跳转标记 *) const (* 常量定义 *) norw = 11; (* of reserved words *) (* 保留字的个数 *) txmax = 100; (* length of identifier table *) (* 标识符表的长度 *) nmax = 14; (* max number of digits in numbers *) (* 数字允许的最长位数 *) al = 10; (* length of identifiers *) (* 标识符最长长度 *) amax = 2047; (* maximum address *) (* 寻址空间 *) levmax = 3; (* max depth of block nesting *) (* 最大允许的块嵌套层数 *) cxmax = 200; (* size of code array *) (* 类PCODE目标代码数组长度 *) type (* 类型定义 *) symbol = (nul, ident, number, plus, minus, times, slash, oddsym, eql, neq, lss, leq, gtr, geq, lparen, rparen, comma, semicolon, period, becomes, beginsym, endsym, ifsym, thensym, whilesym, writesym, readsym, dosym, callsym, constsym, varsym, procsym); (* symobl类型标识了不同类型的词汇 *) alfa = packed array1.al of char; (* alfa类型用于标识符 *) object1 = (constant, variable, procedur); (* object1为三种标识符的类型 *) symset = set of symbol; (* symset是symbol类型的一个集合类型，可用于存放一组symbol *) fct = (lit, opr, lod, sto, cal, int, jmp, jpc); (* fct类型分别标识类PCODE的各条指令 *) instruction = packed record f: fct; (* function code *) l: 0.levmax; (* level *) a: 0.amax; (* displacement addr *) end; (* 类PCODE指令类型，包含三个字段：指令f、层差l和另一个操作数a *) (* lit 0, a load constant a opr 0, a execute opr a lod l, a load variable l, a sto l, a store variable l, a cal l, a call procedure a at level l int 0, a increment t-register by a jmp 0, a jump to a jpc 0, a jump conditional to a *) var (* 全局变量定义 *) ch: char; (* last char read *) (* 主要用于词法分析器，存放最近一次从文件中读出的字符 *) sym: symbol; (* last symbol read *) (* 词法分析器输出结果之用，存放最近一次识别出来的token的类型 *) id: alfa; (* last identifier read *) (* 词法分析器输出结果之用，存放最近一次识别出来的标识符的名字 *) num: integer; (* last number read *) (* 词法分析器输出结果之用，存放最近一次识别出来的数字的值 *) cc: integer; (* character count *) (* 行缓冲区指针 *) ll: integer; (* line length *) (* 行缓冲区长度 *) kk: integer; (* 引入此变量是出于程序性能考虑，见getsym过程注释 *) cx: integer; (* code allocation index *) (* 代码分配指针，代码生成模块总在cx所指位置生成新的代码 *) line: array1.81 of char; (* 行缓冲区，用于从文件读出一行，供词法分析获取单词时之用 *) a: alfa; (* 词法分析器中用于临时存放正在分析的词 *) code: array0.cxmax of instruction; (* 生成的类PCODE代码表，存放编译得到的类PCODE代码 *) word: array1.norw of alfa; (* 保留字表 *) wsym: array1.norw of symbol; (* 保留字表中每一个保留字对应的symbol类型 *) ssym: array' '.'' of symbol; (* 一些符号对应的symbol类型表 *) (* wirth uses "arraychar" here *) mnemonic: arrayfct of packed array1.5 of char;(* 类PCODE指令助记符表 *) declbegsys, statbegsys, facbegsys: symset; (* 声明开始、表达式开始和项开始符号集合 *) table: array0.txmax of record (* 符号表 *) name: alfa; (* 符号的名字 *) case kind: object1 of (* 符号的类型 *) constant: (* 如果是常量名 *) (val: integer); (* val中放常量的值 *) variable, procedur: (* 如果是变量名或过程名 *) (level, adr, size: integer) (* 存放层差、偏移地址和大小 *) (* "size" lacking in orginal. I think it belons here *) end; fin, fout: text; (* fin文本文件用于指向输入的源程序文件，fout程序中没有用到 *) sfile: string; (* 存放PL/0源程序文件的文件名 *) (* 出错处理过程error *) (* 参数：n:出错代码 *) procedure error(n: integer); begin writeln('*', ' ': cc-1, '!', n:2); (* 在屏幕cc-1位置显示!与出错代码提示，由于cc 是行缓冲区指针，所以!所指位置即为出错位置 *) writeln(fa1, '*', ' ': cc-1, '!', n:2); (* 在文件cc-1位置输出!与出错代码提示 *) err := err + 1 (* 出错总次数加一 *) end (* error *); (* 词法分析过程getsym *) procedure getsym; var i, j, k: integer; (* 读取原程序中下一个字符过程getch *) procedure getch; begin if cc = ll then (* 如果行缓冲区指针指向行缓冲区最后一个字符就从文件读一行到行缓冲区 *) begin if eof(fin) then (* 如果到达文件末尾 *) begin write('Program incomplete'); (* 出错，退出程序 *) close(fin); exit; end; ll := 0; (* 行缓冲区长度置0 *) cc := 0; (* 行缓冲区指针置行首 *) write(cx: 4, ' '); (* 输出cx值，宽度为4 *) write(fa1, cx: 4, ' '); (* 输出cx值，宽度为4到文件 *) while not eoln(fin) do (* 当未到行末时 *) begin ll := ll + 1; (* 行缓冲区长度加一 *) read(fin, ch); (* 从文件读入一个字符到 ch *) write(ch); (* 在屏幕输出ch *) write(fa1, ch); (* 把ch输出到文件 *) linell := ch; (* 把读到的字符存入行缓冲区相应的位置 *) end; (* 可见，PL/0源程序要求每行的长度都小于81个字符 *) writeln; ll := ll + 1; (* 行缓冲区长度加一，用于容纳即将读入的回车符CR *) read(fin, linell);(* 把#13(CR)读入行缓冲区尾部 *) read(fin, ch); (* 我添加的代码。由于PC上文本文件换行是以#13#10(CR+LF)表示的， 所以要把多余的LF从文件读出，这里放在ch变量中是由于ch变量的 值在下面即将被改变，把这个多余值放在ch中没有问题 *) writeln(fa1); end; cc := cc + 1; (* 行缓冲区指针加一，指向即将读到的字符 *) ch := linecc (* 读出字符，放入全局变量ch *) end (* getch *); begin (* getsym *) while (ch = ' ') do getch; if ch in 'a'.'z' then (* 如果读出的字符是一个字母，说明是保留字或标识符 *) begin k := 0; (* 标识符缓冲区指针置0 *) repeat (* 这个循环用于依次读出源文件中的字符构成标识符 *) if k < al then (* 如果标识符长度没有超过最大标识符长度(如果超过，就取前面一部分，把多余的抛弃) *) begin k := k + 1; ak := ch; end; getch (* 读下一个字符 *) until not (ch in 'a'.'z','0'.'9'); (* 直到读出的不是字母或数字，由此可知PL/0的标识符构成规则是: 以字母开头，后面跟若干个字母或数字 *) if k >= kk then (* 如果当前获得的标识符长度大于等于kk *) kk := k (* 令kk为当前标识符长度 *) else repeat (* 这个循环用于把标识符缓冲后部没有填入相应字母或空格的空间用空格补足 *) akk := ' ' kk := kk - 1 until kk = k; (* 在第一次运行这个过程时，kk的值为al，即最大标识符长度，如果读到的标识符长度小于kk， 就把a数组的后部没有字母的空间用空格补足。 这时，kk的值就成为a数组前部非空格字符的个数。以后再运行getsym时，如果读到的标识符长度大于等于kk， 就把kk的值变成当前标识符的长度。 这时就不必在后面填空格了，因为它的后面肯定全是空格。反之如果最近读到的标识符长度小于kk，那就需要从kk位置向前， 把超过当前标识长度的空间填满空格。 以上的这样一个逻辑，完全是出于程序性能的上考虑。其实完全可以简单的把a数组中ak元素以后的空间不管三七二十一全填空格。 *) (* 下面开始二分法查找看读出的标识符是不是保留字之一 *) id := a; (* 最后读出标识符等于a *) i := 1; (* i指向第一个保留字 *) j := norw; (* j指向最后一个保留字 *) repeat k := (i + j) div 2; (* k指向中间一个保留字 *) if id <= wordk then (* 如果当前的标识符小于k所指的保留字 *) j := k - 1; (* 移动j指针 *) if id >= wordk then (* 如果当前的标识符大于k所指的保留字 *) i := k + 1 (* 移动i指针 *) until i > j; (* 循环直到找完保留字表 *) if i - 1 > j then (* 如果i - 1 > j表明在保留字表中找到相应的项，id中存的是保留字 *) sym := wsymk (* 找到保留字，把sym置为相应的保留字值 *) else sym := ident (* 未找到保留字，把sym置为ident类型，表示是标识符 *) end(* 至此读出字符为字母即对保留字或标识符的处理结束 *) else (* 如果读出字符不是字母 *) if ch in '0'.'9' then (* 如果读出字符是数字 *) begin (* number *) (* 开始对数字进行处理 *) k := 0; (* 数字位数 *) num := 0; (* 数字置为0 *) sym := number; (* 置sym为number，表示这一次读到的是数字 *) repeat (* 这个循环依次从源文件中读出字符，组成数字 *) num := 10 * num + (ord(ch) - ord('0'); (* num * 10加上最近读出的字符ASCII减'0'的ASCII得到相应的数值 *) k := k + 1; (* 数字位数加一 *) getch until not (ch in '0'.'9'); (* 直到读出的字符不是数字为止 *) if k > nmax then (* 如果组成的数字位数大于最大允许的数字位数 *) error(30) (* 发出30号错 *) end(* 至此对数字的识别处理结束 *) else if ch = ':' then (* 如果读出的不字母也不是数字而是冒号 *) begin getch; (* 再读一个字符 *) if ch = '=' then (* 如果读到的是等号，正好可以与冒号构成赋值号 *) begin sym := becomes; (* sym的类型设为赋值号becomes *) getch (* 再读出下一个字 *) end else sym := nul; (* 如果不是读到等号，那单独的一个冒号就什么也不是 *) end(* 以上完成对赋值号的处理 *) else (* 如果读到不是字母也不是数字也不是冒号 *) if ch = '<' then (* 如果读到小于号 *) begin getch; (* 再读一个字符 *) if ch = '=' then (* 如果读到等号 *) begin sym := leq; (* 购成一个小于等于号 *) getch (* 读一个字符 *) end else (* 如果小于号后不是跟的等号 *) sym := lss (* 那就是一个单独的小于号 *) end else (* 如果读到不是字母也不是数字也不是冒号也不是小于号 *) if ch = '>' then (* 如果读到大于号，处理过程类似于处理小于号 *) begin getch; (* 再读一个字符 *) if ch = '=' then (* 如果读到等号 *) begin sym := geq; (* 购成一个大于等于号 *) getch (* 读一个字符 *) end else (* 如果大于号后不是跟的等号 *) sym := gtr (* 那就是一个单独的大于号 *) end else(* 如果读到不是字母也不是数字也不是冒号也不是小于号也不是大于号 *) begin (* 那就说明它不是标识符/保留字，也不是复杂的双字节操作符，应该是一个普通的符号 *) sym := ssymch; (* 直接成符号表中查到它的类型，赋给sym *) getch (* 读下一个字符 *) end (* 整个if语句判断结束 *) end (* getsym *); (* 词法分析过程getsym总结：从源文件中读出若干有效字符，组成一个token串，识别它的类型 为保留字/标识符/数字或是其它符号。如果是保留字，把sym置成相应的保留字类型，如果是 标识符，把sym置成ident表示是标识符，于此同时，id变量中存放的即为保留字字符串或标识 符名字。如果是数字，把sym置为number,同时num变量中存放该数字的值。如果是其它的操作符， 则直接把sym置成相应类型。经过本过程后ch变量中存放的是下一个即将被识别的字符 *) (* 目标代码生成过程gen *) (* 参数：x:要生成的一行代码的助记符 *) (* y, z:代码的两个操作数 *) (* 本过程用于把生成的目标代码写入目标代码数组，供后面的解释器解释执行 *) procedure gen(x: fct; y, z: integer); begin if cx > cxmax then (* 如果cx>cxmax表示当前生成的代码行号大于允许的最大代码行数 *) begin write('program too long'); goto 99(* 输出"程序太长"，退出 *) end; with codecx do begin f := x; l := y; a := z end; cx := cx + 1 end gen; (* 测试当前单词是否合法过程test *) (* 参数：s1:当语法分析进入或退出某一语法单元时当前单词符合应属于的集合 *) (* s2:在某一出错状态下，可恢复语法分析正常工作的补充单词集合 *) (* n:出错信息编号，当当前符号不属于合法的s1集合时发出的出错信息 *) procedure test(s1, s2: symset; n: integer); begin if not (sym in s1) then (* 如果当前符号不在s1中 *) begin error(n); (* 发出n号错误 *) s1 := s1 + s2; (* 把s2集合补充进s1集合 *) while not (sym in s1) do (* 通过循环找到下一个合法的符号，以恢复语法分析工作 *) getsym end end (* test *); (* 语法分析过程block *) (* 参数：lev:这一次语法分析所在的层次 *) (* tx:符号表指针 *) (* fsys:用于出错恢复的单词集合 *) procedure block(lev, tx: integer; fsys: symset); var dx: integer; (* data allocation index *) (* 数据段内存分配指针，指向下一个被分配空间在数据段中的偏移位置 *) tx0: integer; (* initial table index *) (* 记录本层开始时符号表位置 *) cx0: integer; (* initial code index *) (* 记录本层开始时代码段分配位置 *) (* 登陆符号表过程enter *) (* 参数：k:欲登陆到符号表的符号类型 *) procedure enter(k: object1); begin (* enter object into table *) tx := tx + 1; (* 符号表指针指向一个新的空位 *) with tabletx do (* 开始登录 *) begin name := id; (* name是符号的名字，对于标识符，这里就是标识符的名字