编译原理实用教程(Tsu版电子教案)doc

第1章 编译系统概述

翻译系统（编译系统）、操作系统、数据库管理系统是计算机的三大系统软件。 1.1 程序设计语言的发展

机器语言汇编语言程序设计语言（高级语言）

例计算表达式3*16+2的值，实现该计算的机器语言程序、汇编语言程序和高级语言（C 语言）程序如下所示，该计算机的系统结构和汇编语言的使用方法详见本书第7章。

机器语言程序

汇编语言程序

高级语言程序

1.2 基本术语解释

㈠源语言和源程序 ㈡文本文件

㈢目标语言和目标程序 ㈣二进制文件 ㈤翻译程序

将源程序译成逻辑上等价的目标程序的程序，有二种翻译方式：编译和解释。 ①解释方式

以源程序作为输入，输入一句，解释执行一句，不产生完整的目标程序，相应的翻译程序称为解释程序，工作方式如下图所示：

解释、执行

源 解释程序 结 程 interpreter

果

序

输入数据

②编译方式

将源程序全部译为目标程序，该目标程序可在操作系统环境下直接执行，相应的翻译程序称为编译程序，工作方式如下图所示：

2203 //16进制 8210 2602 6101 1000 f000

Load R0,3

Mul R0,10 //10表示16 Load R1,2 Add R0,R1 Write R0 Halt

void main(void) //C 语言 {

cout<<3*16+2; }

输入数据

1.3 编译过程概述

编译程序工作过程相当复杂，从数据加工的角度来看，可将其分成4个逻辑阶段，它们

是：

● 词法分析 ● 语法分析

● 语义分析（中间代码产生） ● 目标代码生成 图示如下： 源程序 词法

语法 中间代码 目标代码 目标程序

分析

分析

产生

生成

编译程序的结构基本上是按照这个流程来设计的。

下面以算术表达式3+abc*128为例，来说明编译程序工作过程。 ㈠词法分析

执行词法分析任务的程序称为词法分析器。

任务：字符串形式的单词 编码形式的单词内部码（二元式） 依据：语言的构词规则 ①二元式

（单词种别，单词值）

● 单词种别：用整数码表示（为直观起见用字符表示），语法分析时用。

● 单词值：在本书中用字符串表示，语义分析时用。当一个单词种别中可能有多

个单词时，单词的值才有意义。为了便于输入处理，无意义的单词值用"NUL"表示。

编辑程序 Edit 编译程序 Compile 连接程序 Link 装入运行 Run

②二元式编码

('x',"3") ('+',"NUL") ('i',"abc") ('*', "NUL") ('x',"128")

㈡语法分析

执行语法分析任务的程序称为语法分析器。

任务：检查源程序的语法结构是否正确

依据：语言的语法规则

在语法分析时，算术表达式3+abc*128的语法结构应表示为x+i*x，语法分析器最终应识别出这是一个算术表达式，识别过程相当于建立一棵语法树。

<算术表达式>

<> + <项>

<项> <项* <>

<因子> <因子> x（整常数）

x（整常数）i（标识符）

㈢语义分析

执行语义分析任务的程序称为语义分析器或中间代码产生器。

任务：建立符号表和常数表，记录源程序中标识符属性和常数值，根据语言的语义规定生成中间代码。

依据：语言的语义内涵

语义分析（中间代码产生）主要工作为：语义正确性检查和语义翻译。

①语义正确性检查

例：

begin

real a;

integer a;

…………

end

语法正确，语义错误，除非语言允许变量性质可动态修改。

②语义翻译

1）说明语句的翻译

将标识符及其属性填入符号表。

2）执行语句的翻译

根据不同语句的语义，生成逻辑上等价的中间代码。

●中间代码

结构简单、意义明确的记号系统，非常接近机器指令，但又独立于具体机器。常用的中间代码有三元式和四元式。

表达式3+abc*128可译成如下四元式：

(*,&abc,&128,&T1)

(+,&3,&T1,&T2)

其中，&abc表示标识符abc在符号表中入口；T1和T2是在翻译过程中由编译程序引入的临时变量；而&128表示常数128在常数表中的地址。

●符号表

符号表用于记录源程序中出现的标识符，一个标识符往往具有一系列的语义值，它包括标识符的名称、标识符的种属、标识符的类型、标识符值的存放地址等等。每个标识符在符号表中有一项记录，用于记录标识符的各种语义值，而在四元式中填写的是标

内存地址符号名种属类型…………

未分配abc简单变量整型…………

未分配T1简单变量整型…………

未分配T2简单变量整型…………

●

常数表用于记录在源程序中出现的常数。假定，每个整常数在常数表中占2个字节，每个实常数在常数表中占4个字节。常数表的结构示意如下：

常数的二进制值

00000000-00000011（3）

00000000-01000000（128）

㈣目标代码生成

执行目标代码生成的程序称为目标代码生成器。

任务：中间代码目标代码（机器指令或汇编语言）

依据：目标机器的系统结构

上述算术表达式最终形成的汇编语言程序示意如下：

Load R0,abc

Mul R0,128

Store R0,T1

Load R0,3

Add R0,T1

Store R0,T2

1.4 出错处理

编译程序在工作过程中可发现源程序中各种错误，错误类型及对策简述如下：

㈠错误类型

●词法错误

●语法错误

●语义错误

㈡出错处理

●一旦发现错误，暂停编译程序工作，指出错误的地点和类型。

●在发现错误后，不中断编译程序工作。采取某些措施（例错误局部化），使得

源程序的编译工作可继续下去，尽可能发现源程序中比较多的错误。

1.5 编译程序的前端和后段

㈠编译程序前端

组成：词法分析器、语法分析器和中间代码产生器

特点：依赖于被编译的源语言，输出结果用中间代码描述，和目标机器无关。

㈡编译程序后端

组成：目标代码生成器

特点：和源语言无关，以中间代码形式的源程序为输入进行处理，输出结果依赖于目标机器。

1.6 编译程序的实现方式

㈠用机器指令或汇编语言手工编写

㈡用高级语言手工编写

㈢自编译方式

㈣自动构造

①词法分析器的自动构造

输入词法规则，编译结果为词法分析器，例LEX系统。

②语法分析器的自动构造

输入语法规则，编译结果为语法分析器，例YACC系统。

第2章词法分析

词法分析任务

2.1 词法分析器的设计考虑及手工构造

2.1.1 单词类型及二元式编码

㈠单词类型

基本字、标识符、常数、运算符、界符

㈡单词的性质

●个数确定和不确定

●单字符或多字符构成

㈢单词二元式编码

经词法分析后，单词用二元式(code,val) 表示。

●code表示单词的种别，用整数码表示，在语法分析时使用。

●val表示单词的值，在本书中用字符串表示，在语义分析时使用。

㈣编码原则

通常将标识符归为一种，常数按类型分种，基本字、运算符及界符采用一符一种。㈤实例

Begin/*S=2*3.14* R* R +2*3.14* R*H */

Real r,h,s;

s=2*3.14*r*(r+h)

End

根据单词二元式编码，上述程序的单词二元式序列应为：

('{',"NUL")

('c',"NUL")

('i',"r")

(',',"NUL")

('i',"h")

(',',"NUL")

('i', "s")

(';',"NUL")

('i', "s")

('=',"NUL")

('x', "2")

('*',"NUL")

('y', "3.14")

('*',"NUL")

('i', "r")

('*',"NUL")

('(',"NUL")

('i', "r")

('+',"NUL")

('i', "h")

(')',"NUL")

('}',"NUL")

2.1.2 源程序的输入及预处理

㈠源程序的输入

●分段读入处理（早期）

●全部读入后处理

设源程序如下所示，其中'\'为续行符。

B e g i n/*S=2*3.14*R*R+2*3 .14*R*H*/\n\t R e a l r,h,s;\n \t s=2*3.\\n14*r*(r+h)\n E n d

\n\0\0…\0

㈡预处理

词法分析器通常由二个部分构成：

预处理程序

扫描器（单词识别程序）

①分成二部分的理由

②预处理主要工作

b e g i n r e a l r,h,s;s=

2*3.14*r*(r+h)e n d\0...\0

㈢预处理程序例

2.1.3 基本字的识别和超前搜索

程序设计语言单词以基本字识别最为困难，原因如下：

①有些语言对基本字不加保护，用户可用作普通标识符。

②基本字、用户定义的标识符和常数之间没有分隔符。

解决办法：

①所有基本字均为保留字(Reserved word)，用户不得使用它们作为标识符。

②将空格、TAB和换行符视为界符。在基本字、用户定义的标识符和常数之间，若没有运算符或界符，则至少用一个空格（或TAB、换行符）加以分隔。

2.1.4 遍

㈠遍的基本概念

㈡遍引入的历史背景

㈢遍和编译程序的结构

2.1.5 状态转换图和词法分析器的手工构造

㈠引入状态转换图的必要性

㈡状态转换图基本概念及应用

例1，识别标识符的状态转换图如下所示：

字母数字

空格

①非字母数字*

例2，识别实常数和整常数的状态转换图如下所示：

空格数字数字

数字③小数点④非数字*

非数字非小数点

小数点* 数字

⑦数字⑧非数字*

非数字

×（出错）

例3，识别"#"、"+"和"++"的状态转换图。

空格

+ ⑩+

# 非+

*

㈢利用状态转换图识别单词

状态转换图每次只能识别一个单词，若源程序中有N个单词，则需使用状态转换图N次。设源程序为"x+++y#"（'#'是预处理程序添加的），单词识别程序（扫描器）共使用状态转换图5次。

1)从初态0出发，读入'x'进入状态1，在状态1读入'+'，进入终态2，识别出标识符

"x"，退回'+'；

2)从初态0出发，读入'+'进入状态10，在状态10读入'+'，进入终态11，识别出运算

符"++"；

3)从初态0出发，读入'+'进入状态10，在状态10读入'y'，进入终态12，识别出运算

符"+"，退回'y'；

4)从初态0出发，读入'y'进入状态1，在状态1读入'#'，进入终态2，识别出标识符

"y"，退回'#'；

5)从初态0出发，读入'#'进入状态13，识别出单词"#"，识别出单词"#"意味着整个

源程序中字符处理完毕。

㈣根据状态转换图编制程序

2.2 正规式、自动机及词法分析器的自动生成

2.2.1 基本概念

㈠有穷字母表∑

符号有限集，它的每个元素称为字符。

㈡字（字符串）

∑上字符所构成的有限序列。

①空字

②∑*

③（集合的）积运算

④（集合的）闭包

⑤（集合的）正则闭包

2.2.2 正规式与正规集

㈠正规式和正规集的定义：

●ε和Φ是∑上的正规式，相应的正规集为{ε}、{}。

●若a∈∑，则a是正规式，相应正规集为{a}。

●若α、β为正规式，相应正规集分别记为L(α)和L(β)，则α|β是正规式，其相应正

规集记为L(α|β)，且令L(α|β)=L(α)∪L(β)。

●若α、β为正规式，相应正规集分别记为L(α)和L(β)，则αβ(或α·β)是正规式，其

相应正规集记为L(αβ)，且令L(αβ)=L(α)L(β)。正规式α自身的n次积αα…α是正规

式，记为αn，其相应正规集记为L(αn)，显然L(αn)= L(α) n。

●若α为正规式，相应正规集记为L(α)，则α*= α0|α1|α2|……|αn是正规式，规定α0 =

ε，其相应正规集记为L(α*)，且令L(α*) =L(α) *。

●*·︱，可用园括号改变运算顺序。

㈡正规式相等原理

二个正规式是相等的，当且仅当二个正规式所表示的正规集是相等的。

㈢正规式满足下列关系

①交换律：α|β = β|α

②结合律：α|(β|γ) = (α|β)|γ，α(βγ) = (αβ) γ

③分配律：α(β|γ) = αβ|αγ，(β|γ)α = βα|γα

④εα = αε= α

2.2.3 确定有限自动机（DFA）

㈠DFA定义

一个确定有限自动机M是一个五元式

M = ( S，Σ，f，s0，Z )

●S是一个有限集，它的每一个元素称为状态。

●Σ是一个有穷字母表，它的每个元素称为一个输入字符。

●f是一个从S×Σ至S的映照，即，

f：S×Σ→S（单值函数）

例f (s i,a) = s j，表示当现行状态为s i，若输入字符为a，则转移到下一状态s j，s j称为s i的后继状态。

●s0∈S，是唯一的一个初态。

●Z S，是一个终态集。

㈡状态转换矩阵

㈢DFA M可用一个（确定的）状态转换图表示

㈣字α可为DFA M识别

2.2.4 非确定有限自动机（NFA）

㈠定义

一个非确定的有限自动机M是一个五元式

M=（S，Σ，f，S0，Z）

●S是一个有限集，它的每一个元素称为状态。

●Σ是一个有穷字母表，它的每个元素称为一个输入字符。

●f是一个从S×Σ*到S的子集映照，即，

f：S×Σ*→2S（多值函数）

2S表示幂集，若S={0，1}，则2S ={{}，{0}，{1}，{0，1}}。

●S0S，是一个非空初态集，即NFA的初态不一定唯一。

●Z S，是一个终态集。

㈡NFA M可用一个（非确定的）状态转换图表示

㈢字α可为NFA M识别

㈣DFA是NFA的特例

2.2.5正规式与确定有限自动机的等价性

对于Σ上的每个正规式V，存在一个Σ上的确定有限自动机M，便得L(V)=L(M)。

㈠V NFA

①将V表示成拓广NFA

②根据三条规则对V进行分裂，直至每条弧上的标记为Σ上的一个字符或ε。

㈡NFA DFA

①I的ε闭包

②I a

③NFA确定化算法

2.3 词法分析器的自动生成

输入正规式（构词规则），经自动生成器加工，其结果为DFA。

词法分析器

输入的输出

(正规式) 自动生成器(DFA)

㈠自动生成过程概述

①构造描述每个单词的正规式P i(1≤i≤N)。

②根据正规式P i构造NFA M i(1≤i≤N)，假定初态均为0。在构造NFA M i的同时，逐步并且最终形成识别全部单词的NFA M。

③NFA M确定化

④重新标记，构造DFA M'。

㈡实例

㈢扫描器控制程序工作原理

第3章程序设计语言的语法描述

文法：对语言结构的定义和描述。

3.1 文法的引入

先讨论自然语言的文法。例：the big elephent ate a banana

㈠语法树

根据英语的语法，上述句子的语法结构可用图（语法树）表示如下：

<句子>

<> 谓语>

<冠词> <形容词> <名词> <动词> <直接宾语>

the big elephant ate <冠词> <名词>

a banana

①非叶结点称为语法单位，在形式语言中称为非终结符。

②处于根结点位置的结点又称为开始符号。

③叶结点称为单词符号，在形式语言中称为终结符。

㈡规则

可以通过建立一组规则，来描述上述句子的语法结构，规则在形式语言中称为产生式。上述英文句子可用下述规则来描述：

1.<句子>→<主语><谓语>

2.<主语>→<冠词><形容词><名词>

3.<冠词>→the| a

4.<形容词>→big

5.<名词>→elephant| banana

6.<谓语>→<动词><直接宾语>

7.<直接宾语>→<冠词><名词>

8.<动词>→ate

㈢由规则推导句子

可用规则来推导出句子。从开始符号出发，若能从规则推导出某符号串，则该符号串就是该文法的合法的句子，反之语法错误。

<句子><主语><谓语>

<冠词><形容词><名词><谓语>

the <形容词><名词><谓语>

the big <名词><谓语>

the big elephant <谓语>

the big elephant <动词><直接宾语>

the big elephant ate <直接宾语>

the big elephant ate <冠词><名词>

the big elephant ate a <名词>

the big elephant ate a banana

上述推导可简单表示为：

<句子>the big elephant ate a banana。

值得注意的是用上述规则可推导出多个句子，因存在推导

<句子>the big banana ate an elephant

故the big banana ate an elephant也是文法的一个合法的句子。但意义是荒谬的，也就是说句子的语义是错误的。

一个语法正确的句子不能保证其语义是正确的，故一个句子是否正确，需要进行语法和语义两方面检查。

㈣递归规则和递归文法

①递归定义

②递归规则（直接递归）

③间接递归

④递归文法

利用递归文法我们可以用有穷的规则来描述无穷的语言，这不但解决了语言的定义问题，而且使得对语言的语法检查成为可能。

例：定义无符号整数。

①不采用递归规则，描述无符号整数全体就要使用无穷多条的规则。

<无符号整数>→<数字>|<数字><数字>|<数字><数字><数字>|…

<数字>→0|1|2|3|4|5|6|7|8|9|0

②采用递归规则，描述无符号整数全体仅需12条规则。

<无符号整数>→<无符号整数><数字>|<数字> N→ND|D

<数字>→0|1|2|3|4|5|6|7|8|9|0 D→0|1|2|3|4|5|6|7|8|9|0例1：无符号整数1

N D1

例2：无符号整数23

N ND DD2D23

例3：无符号整数456

N ND NDD DDD4DD45D456

3.2 上下文无关文法

形式语言的奠基人乔姆斯基将文法分为4种类型，它们是：

●短语文法（0型文法）

●上下文有关文法（1型文法）

●上下文无关文法（2型文法）

●正规文法（3型文法）

这四种文法在形式语言中都有严格的定义。但对于程序设计语言来说，上下文无关文法已经够用了，上下文无关文法有足够的能力描述大多数现今使用的程序设计语言的语法结构。以后，“文法”一词若无特别说明，则指“上下文无关文法”。

㈠文法和语言

一个文法G是一个四元式(V T,V N,S,V P)，其中

●V T是一个终结符的非空有限集，终结符通常用小写字母表示。

●V N是一个非终结符的非空有限集，非终结符通常用大写字母表示。

●S是一个特殊的非终结符（S∈V N），称为开始符号。

●V P是一个产生式（规则）的有限集合，每个产生式的形式是A→α，其中A∈V N，

α∈(V T∪V N)*。

例：

G=（V T，V N，S，V P）

V T={+，*，(，)，i}

V N={E}

S=E

V P={E→E+E，E→E*E，E→(E)，E→i }

可简记为：

G：E→E+E|E*E| (E)|i

根据上述文法，可推导出任何仅包含加乘的算术表达式。

㈡基本术语

①直接推出和直接归约

②推导和归约

③句型

④句子

⑤语言

⑥等价文法

⑦最左推导和最右推导

㈢文法的二义性

①语法树

我们可以用一个有向图表示一个句型的推导，这种表示称为语法树。

在一般情况下，某一句型不论其推导过程如何，其最终形成的语法树是相同的，故语法树是不同推导过程的共性抽象。若仅进行最左（右）推导，则语法树和最左（右）推导等价。

②二义文法

某些文法的句型的推导可能对应一棵以上的语法树，或存在一个以上的最左（右）推导。

例：已知文法G：E→E+E|E*E|(E)|i和句子i+i*i，该句子存在二个最左（右）推导，即二棵语法树。

语法树1（先形成+后形成*）

E

E + E

* E i

i i

语法树2（先形成*后形成+）

E

E * E

i E + E

i i

句子i+i*i的二个最左推导序列：

E E+E i+E i+E*E i+i*E i+i*i

E E*E E+E*E i+E*E i+i*E i+i*i

句子i+i*i的二个最右推导序列：

E E+E E+E*E E+E*i E+i*i i+i*i

E E*E E*i E+E*i E+i*i i+i*i

二义文法：若一个文法所产生的语言中，只要存在一个句子，它有二个最左推导，或有二个最右推导，或句子的推导对应两棵语法树，则称该文法为二义文法。

③二义文法的利用和处理

●根据条件修改文法，语言不变。

●根据条件修改编译程序的某一部分，文法保持不变（详见第四、五章）。