自然语言是人与人交流思想的工具，程序语言是人和计算机之间传达信息的工具。为了描述程序语言，本章将引进有关形式语言的基本概念。文法是程序语言的生成系统，自动机是程序语言的识别系统，用文法来精确定义一个语言，然后根据这个文法构造识别这个语言的自动机，因此文法对程序语言和编译程序的构造来说意义重大。随着计算机的发展，形式语言学发展很快。N.Chomsky将文法分成四类，程序语言的词法可用正规文法描述，语法可用上下文无关文法描述，语义则要借助于上下文有关文法来描述。因此我们的注意力是针对这几类文法，特别是上下文无关文法

第二章离散信源及其信息测度 第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

本章可视为前一章的深入和提高； 由于命题逻辑的局限性我们必须 引入谓词逻辑.学习本章时要求掌 握好谓词与命题的关系、量词、 辖域、公式等概念.比较谓词公式 的等价、蕴涵与命题公式相应的 概念的异同；能将自然语言符号 化；能用谓词逻辑进行推理；理 解前束范式的意义

本章可视为前一章的深入和提高； 由于命题逻辑的局限性我们必须 引入谓词逻辑.学习本章时要求掌 握好谓词与命题的关系、量词、 辖域、公式等概念.比较谓词公式 的等价、蕴涵与命题公式相应的 概念的异同；能将自然语言符号 化；能用谓词逻辑进行推理；理 解前束范式的意义

一个程序设计语言是一个记号系统，如自然语言一样， 它的完整的定义应包括语法和语义两方面。所谓一个语言的语 法是指一组规则，用它可以形成和产生一个合适的程序，目前 在程序设计语言的识别中广泛使用的是上下文无关的文法。在 这理主要介绍文法和语言的概念

1. 面向对象的由来和发展 面向对象的语言更接近于自然语言。 2. 面向对象语言实现更高级的抽象 面向对象的抽象原理： 数据抽象和行为共享。 3. 面向对象的基本特征 （1） 对象 （2） 类 （3） 继承

深度神经网络近年在计算机视觉以及自然语言处理等任务上不断刷新已有最好性能，已经成为最受关注的研究方向.深度网络模型虽然性能显著，但由于参数量巨大、存储成本与计算成本过高，仍然难以部署到硬件受限的嵌入式或移动设备上.相关研究发现，基于卷积神经网络的深度模型本身存在参数冗余，模型中存在对最终结果无用的参数，这为深度网络模型压缩提供了理论支持.因此，如何在保证模型精度条件下降低模型大小已经成为热点问题.本文对国内外学者近几年在模型压缩方面所取得的成果与进展进行了分类归纳并对其优缺点进行评价，并探讨了模型压缩目前存在的问题以及未来的发展方向

北京邮电大学：基于语用的自然语言处理研究与应用初探

【自然语言处理与理解】基于Chunk-CRF的情感问答研究

【自然语言处理与理解】基于语法的情感词汇自动获取