第3章词法分析 n 3.1词法分析程序的设计 n手工设计3.2PL0编译程序的词法分析（理解实践） n 自动设计原理 u33单词的形式化描述工具（理解） u3.4有穷自动机（掌握重点难点） 3.5正规式和有穷自动机的等价性（掌握重点) u3.6正规文法和有穷自动机的等价性（了解） n自动设计工县3.7词法分析程序的自动构造工县（了解） n本章练习 n作业 课程目录 28-二月-23 ☒1
28-二月-23 1 第3章 词法分析 n 3.1 词法分析程序的设计 n 手工设计 3.2 PL/0编译程序的词法分析（理解实践） n 自动设计原理 u 3.3 单词的形式化描述工具（理解） u 3.4 有穷自动机（掌握 重点 难点） u 3.5 正规式和有穷自动机的等价性（掌握 重点 ） u 3.6 正规文法和有穷自动机的等价性（了解） n 自动设计工具3.7 词法分析程序的自动构造工具(了解) n 本章练习 n 作业 课程目录
词法分析(Lexical Analysis)p37 n主要功能 u从左至右逐个字符地对源程序进行扫描，产生 一个个的单词符号，把作为字符串的源程序改 造成为单词符号串的中间程序。 u或者说：逐个读入源程序字符，并按照词法规 则分割成一系列单词，再转换成单词串，同时 进行词法检查。 第一阶段词法分析p2例某C语言源程序 ■任务 main( ◆输入源程序（字符串） float sum,first,count .sum=first+count*10;. ◆根据语言的词法规则 输出结果 对构成源程序的字符 class value 串进行扫描和分解 保留字 main ◆识别出一个个的单词 界符一左括号 ■单词内部表示形式 界符一右括号 ◆二元式 界符左花括号 (class,value) 保留字 float 标识符1-id1 sum 单词值 算符乘号 整数 10 28-二月-23
28-二月-23 2 词法分析（Lexical Analysis）p37 n 主要功能 u 从左至右逐个字符地对源程序进行扫描，产生 一个个的单词符号，把作为字符串的源程序改 造成为单词符号串的中间程序。 u 或者说：逐个读入源程序字符，并按照词法规 则分割成一系列单词，再转换成单词串，同时 进行词法检查
3.1词法分析程序设计 (Lexical Analysis)p37 n主要任务 D:\TC\TCEXE u读源程序，产生单词符号。 n其他任务 u滤掉空格，跳过注释、换行符； u追踪换行标志，复制出错源程序； u宏展开，. n关键 u当keu to u找出单词分隔符。 28-二月-23 ☒3
28-二月-23 3 3.1 词法分析程序设计 （Lexical Analysis）p37 n 主要任务 u 读源程序，产生单词符号。 n 其他任务 u 滤掉空格，跳过注释、换行符； u 追踪换行标志，复制出错源程序； u 宏展开，. n 关键 u 找出单词分隔符
词法分析技术应用（讨论） n可应用于其它领域 u比如查询语言以及信息检索系统等，这种应用领域的程序 设计特点是，通过字符串模式的匹配来引发动作。 u又如LEX,说明词法分析程序的语言，可以看成是一个模 式动作语言。 词法分析程序的自动构造工具也广泛应用于许多方面 如用以生成一个程序，可识别印刷电路板中的缺陷。 u又如开关线路设计和文本编辑的自动生成等。 28-二月-23 ☒4
28-二月-23 4 词法分析技术应用(讨论) n 可应用于其它领域 u 比如查询语言以及信息检索系统等，这种应用领域的程序 设计特点是，通过字符串模式的匹配来引发动作。 u 又如LEX，说明词法分析程序的语言，可以看成是一个模 式动作语言。 n 词法分析程序的自动构造工具也广泛应用于许多方面 u 如用以生成一个程序，可识别印刷电路板中的缺陷。 u 又如开关线路设计和文本编辑的自动生成等
3.1.1词法和语法分析器的接口方式p37 作为单独的一遍，在语法分析前进行。 n与语法分析结合在一起作为一遍。 u作为语法分析程序的一个子程序，每次调用识别 一个单词，交给语法分析器使用。 取单词 源程序 语法树 词法分析 语法分析 送单词 表格管理 符号表 常数表 28-二月-23 ☒5
28-二月-23 5 3.1.1词法和语法分析器的接口方式 p37 n 作为单独的一遍，在语法分析前进行。 n 与语法分析结合在一起作为一遍。 u 作为语法分析程序的一个子程序，每次调用识别 一个单词，交给语法分析器使用。 词法分析 表格管理 语法分析 源 程 序 送单词 符号表 常数表 取单词 语法树
3.1.2词法分析器程序的输出p37 功能：输入源程序，输出单词符号，建立自定标 识符表。 n单词符号一般可分为下列五种： 1、标识符 变量名数组名函数名 2、常数 100 3、关键字 C语言main int 4、运算符 +-米/〈〈=>=>=！= 5、界符 ，；(){} 28-二月-23 ☒>6
28-二月-23 6 3.1.2 词法分析器程序的输出 p37 n 功能：输入源程序，输出单词符号,建立自定标 识符表。 n 单词符号一般可分为下列五种： 1、标识符 变量名 数组名 函数名 2、常数 100 3、关键字 C语言main int 4、运算符 + - * / = > == != 5、界符 ，；（ ）{ }
单词符号的输出形式p37-38 二元式（单词种别，属性值） n单词种别单词符号特性 n属性值单词符号特性的值 u通常用整数编码，怎样 u一个种别只含一个单词符号，不 分种，怎样编码，主要 需属性值。 取决于处理上的方便。 关键字if(if,-) 例：标识符 ——1 关键字hile(hlie,-) 常数 ——2 u一个种别含多个单词符号，为区 关键字 ——3 别各个单词符号需要属性值。 运算符一一4 u表示时常用常数值、标识符的名 界符-一5 字表示。 变量i(1,指向i的符号表项) 关键字f (3,if) 关键字while(3,whlie.) 28-二月-23 ☒7
28-二月-23 7 单词符号的输出形式 p37-38 二元式（单词种别，属性值） n 单词种别 单词符号特性 u 通常用整数编码，怎样 分种，怎样编码，主要 取决于处理上的方便。 例：标识符——1 常 数——2 关键字——3 运算符——4 界 符——5 n 属性值 单词符号特性的值 u 一个种别只含一个单词符号，不 需属性值。 关键字if(if，_ ) 关键字while(whlie，_ ) u 一个种别含多个单词符号，为区 别各个单词符号需要属性值。 u 表示时常用常数值、标识符的名 字表示。 变量i(1，指向i的符号表项） 关键字 if （3，if） 关键字 while（3，whlie）
例C+代码段及对应的单词符号序列 while (i>=10)i- 单词 输出表示 1 while (3,while) 2( (5, 0 3 i (1, 指向1的符号表项的指针) 4 >= (4,>=) 5 10 (2, 10) 6 ) (5, ) 7i (1,指向的符号表项的指针) 8 一一 (4, -) 9 (5,;) 章节目录 28-二月-23 ☒8
28-二月-23 8 例 C++代码段及对应的单词符号序列 while (i>=10) i- -; 单词 输出表示 1 while (3，while) 2 ( (5，() 3 i (1，指向i的符号表项的指针) 4 >= (4，>=) 5 10 (2，10) 6 ) (5，)) 7 i (1，指向i的符号表项的指针) 8 - - (4，- -) 9 ; (5，;) 章节目录
3.2PL/0词法分析p39 n作为单独一遍考虑。 n输入：输入串放在输入缓冲区数组1ine中。 var X,y; n预处理 u作用剔掉源程序中无实质意义字符。 滤掉空格（空格字符字符串中空格除外）。 滤掉回车符和换行符。 跳过注释(PL/0中没有处理，请补充)。 28-二月-23 ☒D9
28-二月-23 9 3.2 PL/0词法分析 p39 n 作为单独一遍考虑。 n 输入： 输入串放在输入缓冲区 数组line中。 var x,y; n 预处理 u 作用 剔掉源程序中无实质意义字符。 滤掉空格（空格字符 字符串中空格除外）。 滤掉回车符和换行符。 跳过注释(PL/0中没有处理，请补充)
单词符号的识别：超前搜索 起点指示器 while (x=30 y) t 搜索指示器 超前搜索：标识符、常数和一些特殊算符、界符的识 别需要向前扫描一个字符才能被识别出来。 例 x=30*y中常数30的识别。 28-二月-23 ☒10
28-二月-23 10 单词符号的识别:超前搜索 起点指示器 搜索指示器 超前搜索：标识符、常数和一些特殊算符、界符的识 别需要向前扫描一个字符才能被识别出来。 例 x=30*y中常数30的识别。 while (x = 30 * y)