编译原理词法分析器java
实验一词法分析器的设计
一、实验目的
1.理解词法分析器的任务和输出形式
2.理解扫描器的工作原理
3.掌握状态转换图的绘制以及单词的识别技术
4.掌握词法分析器的设计过程，能够使用某种高级语言实现一个词法分析器
二、实验环境
Myeclipse
三、实验要求
给出一个简单的词法语言规则描述，其中：1开头的种别码为关键词，2开头的为算符，3开头的为界符，4开头的为标识符，5开头的为常数，标识符为字母开头，以字母和数字组成的任意符号串，常数为整数，即以数字组成的符号串。
四、实验难点
1.对整数的二进制转换，以及对指针的操作
2.标识符的设置
五、实验代码
1.ciFa.Java
package com.yaoer.test1;
import javax.swing.*;
import javax.swing.border.TitledBorder;
import java.awt.*;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
@SuppressWarnings("serial")
public class ciFa extends JFrame{
private JButton jbtShow = new JButton("进行词法分析");//按钮
private JTextArea jta = new JTextArea();//输入文本框
private JTextArea jtaOut = new JTextArea();//输出文本框
private JPanel jpl=new JPanel();
private String intput ="";
private String output ="";
private compiler comp = new compiler();
* @param args
*/
public static void main(String[] args)
{
ciFa frame = new ciFa();
frame.setTitle("词法分析器");
//frame.setLocationRelativeTo(frame);
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setSize(500, 400);
frame.setVisible(true);
}
public ciFa()
{
jta.setWrapStyleWord(true);
jta.setLineWrap(true);
jtaOut.setWrapStyleWord(true);
jtaOut.setLineWrap(true);
jtaOut.setEditable(false);
JScrollPane scrollPane = new JScrollPane(jta);
JScrollPane scrollPane2 = new JScrollPane(jtaOut);
scrollPane.setPreferredSize(new Dimension(300,300));
scrollPane2.setPreferredSize(new Dimension(300,300));
jtaOut.setBorder(new TitledBorder("词法分析结果"));
jta.setBorder(new TitledBorder("请在这输入"));
jpl.setLayout(new GridLayout(2,2));
jpl.add(jta);
jpl.add(jtaOut);
add(jbtShow,BorderLayout.SOUTH);
add(jpl);
jbtShow.addActionListener(new ActionListener()
{
public void actionPerformed(ActionEvent e)
{
intput = jta.getText();
output=https://www.360docs.net/doc/5e13299808.html,puterComp(intput);
jtaOut.append(output);
}
});
}
https://www.360docs.net/doc/5e13299808.html,piler.Java
package com.yaoer.test1;
public class compiler {
public String computerComp(String str)
{
String output="";
int index=0;
int k = 0;
while(index { if(isJieFu(str.charAt(index))!=-1){ //判断界符 output+=("( 30"+isJieFu(str.charAt(index))+" "+str.charAt(index)+" 界符)"); index++; }else if(isMath(str.charAt(index))){ //判断常数 int index1=index; output+=("( "); String sub; String result; while(isMath(str.charAt(index))){ output+=(str.charAt(index)); index++; if(index>=str.length()){ if(str.charAt(index1)=='0'){ if(index1+1>=str.length()){ sub =str.substring(index1, index); result = Zhuan(sub); output+=(" "+result+" 数字)"); }else{ if(isMath(str.charAt(index1+1))){ output+=(" 非法字符)"); } else{ sub =str.substring(index1, index); result = Zhuan(sub); output+=(" "+result+" 数字)"); } } }else{ sub =str.substring(index1, index); result = Zhuan(sub); output+=(" "+result+" 数字)"); } return output; } } if(isLetter(str.charAt(index))){ if(str.charAt(index)==' '||str.charAt(index)=='\n'){//空格或者回车处理 index++; } while((!isMath(str.charAt(index)))||(isLetter(str.charAt(index)))){ output+=(str.charAt(index)); index++; if(index>=str.length()) { output+=(" 非标识符)"); return output; } } output+=(" 非法字符)"); }else{ if(str.charAt(index1)=='0'){ if(isMath(str.charAt(index1+1))){ output+=(" 非法字符)"); } else{ sub =str.substring(index1, index); result = Zhuan(sub); output+=(" "+result+" 数字)"); } }else{ sub =str.substring(index1, index); result = Zhuan(sub); output+=(" "+result+" 数字)"); } } }else if(isLetter(str.charAt(index))){ //标识符判断 int i=index; String sub; while(isLetter(str.charAt(index))||isMath(str.charAt(index))){ index++; if(index>=str.length()){ //System.out.println(index); sub =str.substring(i, index); if(isKeyword(sub)!=0){ if(isKeyword(sub)>=10){ output+=("( "+" 1"+isKeyword(sub)+" "+sub+" 关键字)"); }else{ output+=("( "+" 10"+isKeyword(sub)+" "+sub+" 关键字)"); } }else{ output+=("( "+sub+" 标识符)"); } return output; } } sub = str.substring(i, index); //判断是不是关键字 if(isKeyword(sub)!=0){ if(isKeyword(sub)>=10){ output+=("( "+" 1"+isKeyword(sub)+" "+sub+" 关键字)"); }else{ output+=("( "+" 10"+isKeyword(sub)+" "+sub+" 关键字)"); } }else{ output+=("("+sub+" 标识符)"); } }else if(isCompu(str.charAt(index))!=0) { if(index+1>=str.length()){ if(str.charAt(index)=='&'||str.charAt(index)=='|'){ output+=("("+str.charAt(index)+" 非法字符)"); index++; }else{ if(isCompu(str.charAt(index))<=8) { output+=("("+" 20"+isCompu(str.charAt(index))+" "+str.charAt(index)+" 运算符)"); }else if(str.charAt(index)=='!'){ output+=("( 218 "+str.charAt(index)+" 运算符)"); } index++; } }else{ if(isCompu(str.charAt(index+1))==0){ if(str.charAt(index)=='&'||str.charAt(index)=='|'){ output+=("("+str.charAt(index)+" 非法字符)"); index++; }else{ if(isCompu(str.charAt(index))<=8) { output+=("("+" 20"+isCompu(str.charAt(index))+" "+str.charAt(index)+" 运算符)"); }else if(str.charAt(index)=='!'){ output+=("("+" 218"+str.charAt(index)+" 运算符)"); } index++; } }else{ if(index+2>=str.length()){ if( isCompu(str.charAt(index+1))!=0){ if(str.charAt(index)=='='){ if(str.charAt(index+1)=='='){ output+=("("+" 210 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='<' ){ switch (str.charAt(index+1)) { case '=': output+=("("+" 209 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; case '<': output+=("( 215 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; case '>': output+=("( 211 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; default: output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; break; } }else if(str.charAt(index)=='>' ){ if(str.charAt(index+1)=='='){ output+=("( 207 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else if(str.charAt(index+1)=='>'){ output+=("( 214 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='&'){ if(str.charAt(index+1)=='&'){ output+=("( 216 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='|'){ if(str.charAt(index+1)=='|'){ output+=("( 217 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='+'){ if(str.charAt(index+1)=='+'){ output+=("( 212 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='-'){ if(str.charAt(index+1)=='-'){ output+=("( 213 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } } return output; }else{ if( isCompu(str.charAt(index+1))!=0){ if(str.charAt(index)=='='){ if(str.charAt(index+1)=='='){ output+=("("+" 210 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='<' ){ switch (str.charAt(index+1)) { case '=': output+=("("+" 209 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; case '<': output+=("("+" 215 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; case '>': output+=("( 211 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; break; default: output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; break; } }else if(str.charAt(index)=='>' ){ if(str.charAt(index+1)=='='){ output+=("( 207 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else if(str.charAt(index+1)=='>'){ output+=("( 214 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='&'){ if(str.charAt(index+1)=='&'){ output+=("( 216 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='|'){ if(str.charAt(index+1)=='|'){ output+=("( 217 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='+'){ if(str.charAt(index+1)=='+'){ output+=("( 212"+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else if(str.charAt(index)=='-'){ if(str.charAt(index+1)=='-'){ output+=("( 213 "+str.charAt(index)+str.charAt(index+1)+" 运算符)"); index++; index++; }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } }else{ output+=("("+str.charAt(index)+str.charAt(index+1)+" 非法字符)"); index++; index++; } } } } } }else if(str.charAt(index)==' '||str.charAt(index)=='\n'){//空格或者回车处理 index++; }else {//其他字符 output+=("("+str.charAt(index)+" 非法字符)"); index++; } k++; if(k%10==0){ output+=("\n"); } } return output; } /** * 1.判断是不是关键字 * @param str * @return */ public int isKeyword(String str) { int result = 0; String []arr={"void","main","int","char","if","else","for","while","return","cout","ci n"} ; for(int i=0;i { if(str.equals(arr[i])){ result = i+1; break; } else { result = 0; } } return result; } /** * 2.判断是不是运算符 * @param charr * @return */ public int isCompu(char charr) { char arr[]={'+','-','*','/','=','>','&','<','!','|'}; for(int i=0;i if (charr==arr[i]) { return i+1; } } return 0; } /** * 3.判断是不是界符 * @param charr * @return */ public int isJieFu(char charr) { char arr[]={'(',')','[',']','{','}',',',';'}; for(int i=0;i { if (charr==arr[i]) { return i+1; } } return -1; } /** * 4.判断是不是标识符 * @param charr * @return */ public boolean isLetter(char charr) { if(((charr>='a'&&charr<='z')||(charr>='A'&&charr<='Z')) ||charr=='_'){ return true; }else{ return false; } } /** * 5.判断是不是数字 * @param charr * @return */ public boolean isMath(char charr){ if((charr>='0')&&(charr<='9')){ return true; }else{ return false; } } /** * 将十进制转换为二进制 * @param num * @return */ public String Zhuan(String num){ int number = Integer.parseInt(num); int sum; String result = ""; for (int i = number; i >= 1; i /= 2) { if (i % 2 == 0) { sum = 0; } else { sum = 1; } result = sum + result; } return result; } } 六、实验中遇到的问题及感想 在编写词法分析器的程序中，几个子函数的功能还是比较容易实现的，但 是要把它们的功能连在一起，实现对程序源代码的词法分析就困难了，例如在分析运算符的时候，有的运算符是由2个符号组成的，有的是1个，在读入一个字符的时候还要进行超前搜索，看看第二个字符是否可以和第一个字符组成一个运算符。但是在过程中遇到的问题还是没有真正清楚的明白分析的过程和一些应该考虑的问题，经过自己专心的研究和思考，最终完成了实验，实现了词法分析器的功能，对词法分析的整个过程和一些关键步骤以及出错信息的提示有了清楚的明白和理解。 要遍历读取的每一个字符，对其进行判断，空格跳过，其余按照分类进入不同状态，对英文字母，数字，运算符应进行超前判断，获取一个完整的单词符号后，对其进行对比判断，输出结果。 做实验前要了解并掌握跟实验有关的知识，这样做起实验才不会一点头绪都没，白白浪费宝贵的上机时间。 经过这次编译原理词法分析器的实验，不但是我更加对java语言有了进一步实践，获得了不少的实践经验，更重要的是是我对编译原理中词法分析器工作过程和原理的有了进一步的深刻理解，相信在以后编译原理的学习过程中有新的认识和体会。 编译原理实验--词法分析器 实验一词法分析器设计 【实验目的】 1(熟悉词法分析的基本原理，词法分析的过程以及词法分析中要注意的问题。 2(复习高级语言，进一步加强用高级语言来解决实际问题的能力。 3(通过完成词法分析程序，了解词法分析的过程。 【实验内容】 用C语言编写一个PL/0词法分析器，为语法语义分析提供单词，使之能把输入的字符 串形式的源程序分割成一个个单词符号传递给语法语义分析，并把分析结果(基本字， 运算符，标识符，常数以及界符)输出。 【实验流程图】 【实验步骤】 1(提取pl/0文件中基本字的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) { if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {printf("%s\t",wsym[m]);m=14;n=k+1;} } 2(提取pl/0文件中标识符的源代码 while((ch=fgetc(stream))!='.') { int k=-1; char a[SIZE]=" "; int s=0; while(ch>='a' && ch<='z'||ch>='A' && ch<='Z') { if(ch>='A' && ch<='Z') ch+=32; a[++k]=(char)ch; ch=fgetc(stream); } for(int m=0;m<=12&&k!=-1;m++) for(int n=0;n<=k;n++) { if(a[n]==wsym[m][n]) ++s; else s=0; if(s==(strlen(wsym[m]))) {m=14;n=k+1;} } if(m==13) for(m=0;a[m]!=NULL;m++) printf("%c ",a[m]); 编译原理实验报告实验名称：实验一编写词法分析程序 实验类型：验证型实验 指导教师：何中胜 专业班级：13软件四 姓名：丁越 学号： 电子邮箱： 实验地点：秋白楼B720 实验成绩： 日期：2016年3 月18 日 一、实验目的 通过设计、调试词法分析程序，实现从源程序中分出各种单词的方法；熟悉词法分析 程序所用的工具自动机，进一步理解自动机理论。掌握文法转换成自动机的技术及有穷自动机实现的方法。确定词法分析器的输出形式及标识符与关键字的区分方法。加深对课堂教学的理解；提高词法分析方法的实践能力。通过本实验，应达到以下目标： 1、掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的方法。 2、掌握词法分析的实现方法。 3、上机调试编出的词法分析程序。 二、实验过程 以编写PASCAL子集的词法分析程序为例 1.理论部分 （1）主程序设计考虑 主程序的说明部分为各种表格和变量安排空间。 数组 k为关键字表，每个数组元素存放一个关键字。采用定长的方式，较短的关键字 后面补空格。 P数组存放分界符。为了简单起见，分界符、算术运算符和关系运算符都放在 p表中 （编程时，还应建立算术运算符表和关系运算符表，并且各有类号），合并成一类。 id和ci数组分别存放标识符和常数。 instring数组为输入源程序的单词缓存。 outtoken记录为输出内部表示缓存。 还有一些为造表填表设置的变量。 主程序开始后，先以人工方式输入关键字，造 k表；再输入分界符等造p表。 主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词；接收键盘上 送来的一个单词；调用词法分析过程；输出每个单词的内部码。 ⑵词法分析过程考虑 将词法分析程序设计成独立一遍扫描源程序的结构。其流程图见图1-1。 图1-1 该过程取名为 lexical，它根据输入单词的第一个字符（有时还需读第二个字符），判断单词类，产生类号：以字符 k表示关键字；i表示标识符；c表示常数；p表示分界符；s表示运算符（编程时类号分别为 1，2，3，4，5）。 对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有 该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组id中，将常数 变为二进制形式存入数组中 ci中，并记录其在表中的位置。 lexical过程中嵌有两个小过程：一个名为getchar，其功能为从instring中按顺序取出一个字符，并将其指针pint加1；另一个名为error，当出现错误时，调用这个过程， 输出错误编号。 2.实践部分 编译技术 班级网络0802 学号3080610052姓名叶晨舟 指导老师朱玉全2011年 7 月 4 日 一、目的 编译技术是理论与实践并重的课程，而其实验课要综合运用一、二年级所学的多门课程的内容，用来完成一个小型编译程序。从而巩固和加强对词法分析、语法分析、语义分析、代码生成和报错处理等理论的认识和理解；培养学生对完整系统的独立分析和设计的能力，进一步培养学生的独立编程能力。 二、任务及要求 基本要求： 1．词法分析器产生下述小语言的单词序列 这个小语言的所有的单词符号，以及它们的种别编码和内部值如下表： 单词符号种别编码助记符内码值 DIM IF DO STOP END 标识符 常数（整）= + * ** ， （ ）1 2 3 4 5 6 7 8 9 10 11 12 13 14 $DIM $IF $DO $STOP $END $ID $INT $ASSIGN $PLUS $STAR $POWER $COMMA $LPAR $RPAR - - - - - - 内部字符串 标准二进形式 - - - - - - 对于这个小语言，有几点重要的限制： 首先，所有的关键字（如IF﹑WHILE等）都是“保留字”。所谓的保留字的意思是，用户不得使用它们作为自己定义的标示符。例如，下面的写法是绝对禁止的： IF（5）=x 其次，由于把关键字作为保留字，故可以把关键字作为一类特殊标示符来处理。也就是说，对于关键字不专设对应的转换图。但把它们（及其种别编码）预先安排在一张表格中（此表叫作保留字表）。当转换图识别出一个标识符时，就去查对这张表，确定它是否为一个关键字。 再次，如果关键字、标识符和常数之间没有确定的运算符或界符作间隔，则必须至少用一个空白符作间隔（此时，空白符不再是完全没有意义的了）。例如，一个条件语句应写为 实验1-3 《编译原理》S语言词法分析程序设计方案 一、实验目的 了解词法分析程序的两种设计方法之一：根据状态转换图直接编程的方式； 二、实验内容 1．根据状态转换图直接编程 编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。 具体任务有： （1）组织源程序的输入 （2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件 （3）删除注释、空格和无用符号 （4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 （5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。 标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址 注：词法分析阶段只填写变量名，其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构：常量名，常量值 三、实验要求 1．能对任何S语言源程序进行分析 在运行词法分析程序时，应该用问答形式输入要被分析的S源语言程序的文件名，然后对该程序完成词法分析任务。 2．能检查并处理某些词法分析错误 词法分析程序能给出的错误信息包括：总的出错个数，每个错误所在的行号，错误的编号及错误信息。 本实验要求处理以下两种错误（编号分别为1，2）： 1：非法字符：单词表中不存在的字符处理为非法字符，处理方式是删除该字符，给出错误信息，“某某字符非法”。 2：源程序文件结束而注释未结束。注释格式为：/* …… */ 四、保留字和特殊符号表 题目：词法分析器的设计与实现 一、引言................................ 错误!未定义书签。 二、词法分析器的设计 (3) 2.1词的内部定义 (3) 2.2词法分析器的任务及功能 (3) 3 2.2.2 功能： (4) 2.3单词符号对应的种别码： (4) 三、词法分析器的实现 (5) 3.1主程序示意图： (5) 3.2函数定义说明 (6) 3.3程序设计实现及功能说明 (6) 错误!未定义书签。 7 7 四、词法分析程序的C语言源代码： (7) 五、结果分析： (12) 摘要：词法分析是中文信息处理中的一项基础性工作。词法分析结果的好坏将直接影响中文信息处理上层应用的效果。通过权威的评测和实际应用表明,IRLAS是一个高精度、高质量的、高可靠性的词法分析系统。众所周知,切分歧义和未登录词识别是中文分词中的两大难点。理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实 现方法和技术，用c语言对一个简单语言的子集编制一个一遍扫描的编译程序，以加深对编译原理的理解,掌握编译程序的实现方法和技术。Abstract:lexical analysis is a basic task in Chinese information processing. The results of lexical analysis will directly affect the effectiveness of the application of Chinese information processing. The evaluation and practical application show that IRLAS is a high precision, high quality and high reliability lexical analysis system. It is well known that segmentation ambiguity and unknown word recognition are the two major difficulties in Chinese word segmentation. The understanding of lexical analyse the program at compile, deepen of finite automata model for understanding, master lexical analysis program implementation method and technology, using C language subset of a simple language compilation of a scanned again compiler, to deepen to compile the principle solution, master compiler implementation method and technology. 关键词：词法分析器?扫描器?单词符号?预处理 Keywords: lexical analyzer word symbol pretreatment scanner 一、引言 运用C语言设计词法分析器，由指定文件读入预分析的源程序，经过词法分析器的分析，将结果写入指定文件。本程序是在Visual?Studio环境下，使用C语言作为开发工具。基于实验任务 编译技术实验报告 实验题目：词法分析 学院：信息学院 专业：计算机科学与技术学号： 姓名： 一、实验目的 (1)理解词法分析的功能； (2)理解词法分析的实现方法； 二、实验内容 PL0的文法如下 …< >?为非终结符。 …::=? 该符号的左部由右部定义，可读作“定义为”。 …|? 表示…或?，为左部可由多个右部定义。 …{ }? 表示花括号内的语法成分可以重复。在不加上下界时可重复0到任意次 数，有上下界时可重复次数的限制。 …[ ]? 表示方括号内的成分为任选项。 …( )? 表示圆括号内的成分优先。 上述符号为“元符号”，文法用上述符号作为文法符号时需要用引号…?括起。 〈程序〉∷=〈分程序〉． 〈分程序〉∷= [〈变量说明部分〉][〈过程说明部分〉]〈语句〉 〈变量说明部分〉∷=V AR〈标识符〉{，〈标识符〉}：INTEGER； 〈无符号整数〉∷=〈数字〉{〈数字〉} 〈标识符〉∷=〈字母〉{〈字母〉|〈数字〉} 〈过程说明部分〉∷=〈过程首部〉〈分程序〉{；〈过程说明部分〉}； 〈过程首部〉∷=PROCEDURE〈标识符〉； 〈语句〉∷=〈赋值语句〉|〈条件语句〉|〈过程调用语句〉|〈读语句〉|〈写语句〉|〈复合语句〉|〈空〉 〈赋值语句〉∷=〈标识符〉∶=〈表达式〉 〈复合语句〉∷=BEGIN〈语句〉{；〈语句〉}END 〈条件〉∷=〈表达式〉〈关系运算符〉〈表达式〉 〈表达式〉∷=〈项〉{〈加法运算符〉〈项〉} 〈项〉∷=〈因子〉{〈乘法运算符〉〈因子〉} 〈因子〉∷=〈标识符〉|〈无符号整数〉|'('〈表达式〉')' 〈加法运算符〉∷=+|- 〈乘法运算符〉∷=* 〈关系运算符〉∷=<>|=|<|<=|>|>= 〈条件语句〉∷=IF〈条件〉THEN〈语句〉 〈字母〉∷=a|b|…|X|Y|Z 〈数字〉∷=0|1|2|…|8|9 实现PL0的词法分析 词法分析 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 2.1 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 2.2 各种单词符号对应的种别码： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 3.1 主程序示意图： 主程序示意图如图3-1所示。其中初始包括以下两个方面： ⑴关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下： Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,}; 图3-1 （2）程序中需要用到的主要变量为syn,token和sum 3.2 扫描子程序的算法思想： 首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn用来存放单词符号的种别码。扫描子程序主要部分流程如图3-2所示。 #include 编译原理 C语言词法分析器 一、实验题目 编制并调试C词法分析程序。 a.txt源代码: ?main() { int sum=0 ,it=1;/* Variable declaration*/ if (sum==1) it++; else it=it+2; }? 设计其词法分析程序，能识别出所有的关键字、标识符、常数、运算符（包括复合运算符，如++）、界符；能过滤掉源程序中的注释、空格、制表符、换行符；并且能够对一些词法规则的错误进行必要的处理，如：标识符只能由字母、数字和下划线组成，且第一个字符必须为字母或下划线。实验要求:要给出所分析语言的词法说明，相应的状态转换图，单词的种别编码方案，词法分析程序的主要算法思想等。 二、实验目的 1、理解词法分析在编译程序中的作用； 2、掌握词法分析程序的实现方法和技术； 3、加深对有穷自动机模型的理解。 三、主要函数 四、设计 1.主函数void main ( ) 2. 初始化函数void load ( ) 3. 保留字及标识符判断函数void char_search(char *word) 4. 整数类型判断函数void inta_search(char *word) 5. 浮点类型判断函数void intb_search(char *word) 6. 字符串常量判断函数void cc_search(char *word) 7. 字符常量判断函数void c_search(char *word) 同4、5函数图 8.主扫描函数void scan ( ) 五、关键代码 #include 词法分析器实验报告 一、实验目的 选择一种编程语言实现简单的词法分析程序，设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 各种单词符号对应的种别码： 表各种单词符号对应的种别码 词法分析程序的功能： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根 据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 主程序示意图： 主程序示意图如图3-1所示。其中初始包括以下两个方面： ⑴关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下： Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,}; 图3-1 （2）程序中需要用到的主要变量为syn,token和sum 扫描子程序的算法思想： 首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn 用来存放单词符号的种别码。扫描子程序主要部分流程如图3-2所示。 词法分析器实验报告 一、实验目的及要求 本次实验通过用C语言设计、编制、调试一个词法分析子程序，识别单词，实现一个C语言词法分析器，经过此过程可以加深对编译器解析单词流的过程的了解。 运行环境： 硬件：windows xp 软件：visual c++6.0 二、实验步骤 1.查询资料，了解词法分析器的工作过程与原理。 2.分析题目，整理出基本设计思路。 3.实践编码，将设计思想转换用c语言编码实现，编译运行。 4.测试功能，多次设置包含不同字符，关键字的待解析文件，仔细察看运行结果，检测该分析器的分析结果是否正确。通过最终的测试发现问题，逐渐完善代码中设置的分析对象与关键字表，拓宽分析范围提高分析能力。 三、实验内容 本实验中将c语言单词符号分成了四类：关键字key（特别的将main说明为主函数）、普通标示符、常数和界符。将关键字初始化在一个字符型指针数组*key[]中，将界符分别由程序中的case列出。在词法分析过程中，关键字表和case列出的界符的内容是固定不变的（由程序中的初始化确定），因此，从源文件字符串中识别出现的关键字，界符只能从其中选取。标识符、常数是在分析过程中不断形成的。 对于一个具体源程序而言，在扫描字符串时识别出一个单词，若这个单词的类型是关键字、普通标示符、常数或界符中之一，那么就将此单词以文字说明的形式输出．每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直到整个源程序全部扫描完毕，从而形成相应的单词串。 输出形式例如：void $关键字 流程图 、程序 流程图： 开始 输入源文件路径 路径是否有 效 是初始化文件指针 否 将字符加入字符数 组Word[] 是空格，空白或换 行吗 是字母吗是数字吗否否是界符吗否打开源文件 跳过该字符 是是 文件结束？ 否 将字符加入字符数 组Word[] 否 将字符加入字符数组Word[] 是 指向下一字符识别指针内容 指向下一字符 是字母惑数字 吗 是 将word 与关键字表key 进行匹 配 否匹配？是输出word 为关键字 输出word 为普通标示符 否将字符加入字符数组Word[] 指向下一字符输出word 为常数 识别指针内容 回退 是数字吗 是 否输出word 为界符 指向下一字符 结束 是输出Word 内容为不可识别 将字符加入字符数组Word[] 编译原理实验报告 实验一 一、实验名称：词法分析器的设计 二、实验目的：1，词法分析器能够识别简单语言的单词符号 2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。 三、实验要求：给出一个简单语言单词符号的种别编码词法分析器 四、实验原理： 1、词法分析程序的算法思想 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 2、程序流程图 （1 （2）扫描子程序 3 五、实验内容： 1、实验分析 编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k（int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s用来表示正在分析的字符。字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。 2 实验词法分析器源程序： #include 信息工程学院实验报告（2010 ~2011 学年度第一学期） 姓名：柳冠天 学号：2081908318 班级：083 词法分析 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 2.1 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ：= + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 2.2 各种单词符号对应的种别码： 表2.1 各种单词符号对应的种别码 2.3 词法分析程序的功能： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 3.1 主程序示意图： 《编译原理》 课程设计 院系信息科学与技术学院 专业软件工程 年级 2011级 学号 20112723 姓名林苾湲 西南交通大学信息科学与技术学院 2013年 12月 目录 课程设计1 词法分析器 (2) 1.1 设计题目 (2) 1.2 设计容 (2) 1.3 设计目的 (2) 1.4 设计环境 (2) 1.5 需求分析 (2) 1.6 概要设计 (2) 1.7 详细设计 (4) 1.8 编程调试 (5) 1.9 测试 (11) 1.10 结束语 (13) 课程设计2 赋值语句的解释程序设计 (14) 2.1 设计题目 (14) 2.2 设计容 (14) 2.3 设计目的 (14) 2.4 设计环境 (14) 2.5 需求分析 (15) 2.6 概要设计 (16) 2.7 详细设计 (16) 2.8 编程调试 (24) 2.9 测试 (24) 2.10 结束语 (25) 课程设计一词法分析器设计 一、设计题目 手工设计c语言的词法分析器（可以是c语言的子集）。 二、设计容 处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。 三、设计目的 了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。 四、设计环境 该课程设计包括的硬件和软件条件如下： 4.1.硬件 （1）Intel Core Duo CPU P8700 （2）存4G 4.2.软件 （1）Window 7 32位操作系统 （2）Microsoft Visual Studio c#开发平台 4.3.编程语言 C#语言 五、需求分析 5.1.源程序的预处理：源程序中，存在许多编辑用的符号，他们对程序逻辑功能无任何影响。例如：回车，换行，多余空白符，注释行等。在词法分析之前，首先要先剔除掉这些符号，使得词法分析更为简单。 5.2.单词符号的识别并判断单词的合法性：将每个单词符号进行不同类别的划分。单词符号可以划分成5中。 (1)标识符：用户自己定义的名字，常量名，变量名和过程名。 (2)常数：各种类型的常数。 (3) 保留字（关键字）：如if、else、while、int、float等。 (4) 运算符：如+、-、*、<、>、=等。 (5)界符：如逗号、分号、括号等。 5.3.将所有合法的单词符号转化为便于计算机处理的二元组形式：（单词分类号，单词自身值）；以图形化界面显示出来。 5.4.可选择性地将结果保存到文件中。 六、概要设计 6.1．数据类型 6.1.1.单词的分类：本词法分析器演示的是C语言的一个子集，故字符集如下： 编译原理实验报告 实验一 实验题目：词法分析 指导老师：任姚鹏 专业班级：计算机科学与技术系网络工程方向1002班姓名：xxxx 2013年 4月13日 实验类型__验证性__ 实验室_软件实验室三__ 一、实验项目的目的和任务： 了解和掌握词法分析的方法，编程实现给定源语言程序的词法分析器，并利用该分析器扫描源语言程序的字符串，按照给定的词法规则，识别出单词符号作为输出，发现其中的词法错误。 二、实验内容： 1．设计一个简单的程序设计语言（语言中有若干运算符和分界符；有若干关健字；若干标识符及若干常数） 2．确定编译中使用的表格、词法分析器的输出形式、标识符与关键字的区分方法。 3．把词法分析器设计成一个独立的过程。 三、实验要求: 1.从键盘上输入源程序； 2.处理各单词，计算个单词的值和类型； 3.输出个单词名、单词的值和类型。 四、实验代码 #include 一、实验目的 了解词法分析程序的两种设计方法：1.根据状态转换图直接编程的方式；2.利用DFA 编写通用的词法分析程序。 二、实验内容及要求 1．根据状态转换图直接编程 编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。 具体任务有： （1）组织源程序的输入 （2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件 （3）删除注释、空格和无用符号 （4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 （5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。 标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址 注：词法分析阶段只填写变量名，其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构：常量名，常量值 2．编写DFA模拟程序 算法如下： DFA（S=S0,MOVE[][],F[],ALPHABET[]） /*S为状态，初值为DFA的初态，MOVE[][]为状态转换矩阵，F[] 为终态集，ALPHABET[] 为字母表，其中的字母顺序与MOVE[][] 中列标题的字母顺序一致。*/ { Char Wordbuffer[10]=“”//单词缓冲区置空 Nextchar=getchar（）；//读 i=0； while（nextchar！=NULL）//NULL代表此类单词 { if （nextcha r！∈ALPHABET[]）{ERROR（“非法字符”），return（“非法字符”）；} S=MOVE[S][nextchar] //下一状态 if（S=NULL）return（“不接受”）；//下一状态为空，不能识别，单词错误 wordbuffer[i]=nextchar ；//保存单词符号 i++； nextchar=getchar（）； } Wordbuffer[i]=‘\0’; 编译原理词法分析程序实现实验报告实验一词法分析程序实现 一、实验内容 选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来。输入:由无符号数和+，,，*，/, ( , ) 构成的算术表达式，如 1.5E+2,100。输出:对识别出的每一单词均单行输出其类别码(无符号数的值暂不要求计算)。二、设计部分 因为需要选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来，而其中的关键则为无符号数的识别，它不仅包括了一般情况下的整数和小数，还有以E为底数的指数运算，其中关于词法分析的无符号数的识别过程流程图如下: 输入字符p指向第一个字符 符号识别*p=+||-||*||/ YYNN*p=0~9*p=E*p=0~9||"." N无效符号Y *p=“.”GOTO 2 GOTO 1 GOTO 1: NY无符号数GOTO 1*p=0~9*p='/0' YN P++NNP++*p=E*p='+'||'-' YY P++P++continue YY *p=0~9*p=0~9 NN 无符号数无符号数 P++P++ continuecontinue GOTO 2: GOTO 2 *p=Econtinue Y 无符号数 P++ continue 三、源程序代码部分 #include 编译原理课程设计报告 课题名称：编译原理课程设计 C-语言词法与语法分析器的实现 C-词法与语法分析器的实现 1.课程设计目标 （1）题目实用性 C-语言拥有一个完整语言的基本属性，通过编写C-语言的词法分析和语法分析，对于理解编译原理的相关理论和知识有很大的作用。通过编写C-语言词法和语法分析程序，能够对编译原理的相关知识：正则表达式、有限自动机、语法分析等有一个比较清晰的了解和掌握。（2）C-语言的词法说明 ①语言的关键字： else if int return void while 所有的关键字都是保留字，并且必须是小写。 ②专用符号： + - * / < <= > >= == != = ; , ( ) [ ] { } /* */ ③其他标记是ID和NUM，通过下列正则表达式定义： ID = letter letter* NUM = digit digit* letter = a|..|z|A|..|Z digit = 0|..|9 注：ID表示标识符，NUM表示数字，letter表示一个字母，digit表示一个数字。 小写和大写字母是有区别的。 ④空格由空白、换行符和制表符组成。空格通常被忽略。 ⑤注释用通常的c语言符号/ * . . . * /围起来。注释可以放在任何空白出现的位置(即注释不能放在标记)上，且可以超过一行。注释不能嵌套。 （3）程序设计目标 能够对一个程序正确的进行词法及语法分析。 2.分析与设计 （1）设计思想 a.词法分析 词法分析的实现主要利用有穷自动机理论。有穷自动机可用作描述在输入串中识别模式的过程，因此也能用作构造扫描程序。通过有穷自动机理论能够容易的设计出词法分析器。b.语法分析 语法分析采用递归下降分析。递归下降法是语法分析中最易懂的一种方法。它的主要原理是，对每个非终结符按其产生式结构构造相应语法分析子程序，其中终结符产生匹配命令，而非终结符则产生过程调用命令。因为文法递归相应子程序也递归，所以称这种方法为递归子程序下降法或递归下降法。其中子程序的结构与产生式结构几乎是一致的。 （2）程序流程图 程序主流程图： 词法分析: 语法分析： 南华大学 计算机科学与技术学院实验报告 （2018~2019学年度第二学期） 课程名称编译原理 实验名称词法分析器的设计与 实现 姓名学号 专业班级 地点教师 1.实验目的及要求 实验目的 加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法分析。 实验要求 1.对单词的构词规则有明确的定义； 2.编写的分析程序能够正确识别源程序中的单词符号； 3.识别出的单词以<种别码，值>的形式保存在符号表中，正确设计和维护 符号表； 4.对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误 提示，保证顺利完成整个源程序的词法分析； 2.实验步骤 1.词法分析规则 <标识符>::=<字母>|<标识符><字母>|<标识符><数字> <常数>::=<数字>|<数字序列><数字> <数字序列>::＝<数字序列><数字>|<数字>|<.> <字母>::=a|b|c|……|x|y|z <数字>::=0|1|2|3|4|5|6|7|8|9 <运算符>::=<关系运算符>|<算术运算符>|<逻辑运算符>|<位运算符>|<赋值运算符> <算数运算符>::＝+|-|*|／|...|-- <关系运算符>::＝<|>|!=|>=|<=|== <逻辑运算符>::=&&| || |！ <位运算符>::=&| | |！ <赋值运算符>::==|+=|-=|/=|*= <分界符>::＝,|;|(|)|{|}|：| // |/**/ <保留字>::＝main|if|else|while|do|for|...|void编译原理实验--词法分析器
编译原理实验报告实验一编写词法分析程序
编译原理词法分析器语法分析器实验报告
实验1-3-《编译原理》词法分析程序设计方案
词法分析器的实现与设计
编译原理实验词法分析实验报告
编译原理词法分析和语法分析报告+代码(C语言版)
C++实现词法分析器
编译原理C语言词法分析器
编译原理词法分析实验报告
实验一、词法分析器(含源代码)
编译原理实验报告(词法分析器语法分析器)
编译原理词法分析和语法分析报告+代码(C语言版)
编译原理词法分析器语法分析课程设计报告书
编译原理实验(词法分析)
编译原理词法分析器
编译原理词法分析程序实现实验报告
编译原理课程设计报告C语言词法与语法分析器的实现
编译原理实验-词法分析器的设计与实现.docx