《应用随机过程教程》教学资源（参考资料）与在算法和智能计算中的应用——前言.pdf_大学文库

龚光鲁,钱敏平著应用随机过程教程一与在算法和智能计算中的应用清华大学出版社,2003 前言作者在5年前向读者奉献了一本教科书,它是由北京大学出版社出版的.那本书主要是为理科,特别是为数学与概率统计专业学生而设计的该书与当时市面上的应用随机过程教科书相比,其长处在于着重强调随机过程在各科学领域的新的应用,提供了不少在应用领域中用随机过程建模的例子然而,当作者之一向工科研究生与高年级本科生授课时,发现该教材开始所涉及的内容,以及后面章节中的个别内容颇为艰难.顾及工科,经济类,管理类等领域不同读者对象的需要,我们想到应该更多地扩展与应用方面有关的内容哦内容,模型与概念,甚至应该介绍一些常用的算法,即使有些算法不全直接出自随机过程.凡此考虑,就成为我们再写一本主要为工科设计的教材的动机本书是主要为广大的工科,理科非数学专业,应用数学的非概率统计方向,医学,心理, 经济金融等诸多领域的本科生,研究生,教师,研究人员,工程师,设计师等撰写的.在本书中,我们并不假定读者知道测度论的知识.鉴于选用本书的对象对概率统计的了解程度与时限很不一致,根据读者的建议我们在本书中将与应用随机过程有关的概率统计的基本要点 (但并不完全概括一般概率统计课程所涉的内容),略去其证明与概念的解释,写成一个纲要, 作为第1章,以便使用者能作“在线的”温习与查阅.但是,我们在第1章中所引述的内容在个别地方会比一般工科概率论的基本课程的要求略为超出一些,这是为一些有余力的读者准备的,以便这一部分读者能得到更深一些的领会.我们建议使用本书的教师,不要把第 1章放在应用随机过程课程的教学内容中,而只把它作为学习其他章节时的参考温习材料由于我们希望有较宽的适应性,本书与某些针对个别专门方向应用的应用随机过程教科书相比,增加了不少内容.当然我们也舍去了,或改写了某些经典的内容,例如关于平稳过程的遍历论,二阶矩过程与宽平稳过程的谱理论等等,我们基本上并没有展开,而只作了必要的论述.我们冀望使用本书授课的教师和自学的读者,可以根据学生或读者自身的情况与需要,把本书的素材分成几个不同的层次,选用其中的一部分或几个部分,即尽量不要把本书当作”套餐” menu du jour),而努力把它作为”点菜”( a la carte)的菜单.在使用本书学习时,要学会熟悉本书的目录与符号表,经常浏览并翻阅本书最后所附的名词索引,以便能更好地使用“点菜技术”.需要强调的是,由于作者希望本书包容一些常见的应用层面以及经过简化后的典型应用例子,并由此安排分析它们的各种工具或算法,这就使本书的某些内容不可能完全按照一维的次序展开,也就不可避免地会出现材料使用上的交叉特别地在后面的几章中就明显地出现了这种交叉.这就使“点菜技术”更有必要本书中带*的部分和小字的部分,只是用作参考与注释,完全可以略去.不要因为它们而影响讲授或学习的主线本书的撰写原则是,着重与强调想法,背景与思路.为了使读者更便于理解,对于命题与定理,我们只给出简单的证明,或者直观的证明,而不追究其严格性.对于非常重要的内

ii 龚光鲁,钱敏平著应用随机过程教程 – 与在算法和智能计算中的应用清华大学出版社,2003 前言作者在 5 年前向读者奉献了一本教科书 , 它是由北京大学出版社出版的．那本书主要是为理科, 特别是为数学与概率统计专业学生而设计的. 该书与当时市面上的应用随机过程教科书相比, 其长处在于着重强调随机过程在各科学领域的新的应用, 提供了不少在应用领域中用随机过程建模的例子．然而, 当作者之一向工科研究生与高年级本科生授课时, 发现该教材开始所涉及的内容，以及后面章节中的个别内容颇为艰难. 顾及工科, 经济类, 管理类等领域不同读者对象的需要, 我们想到应该更多地扩展与应用方面有关的内容哦内容，模型与概念, 甚至应该介绍一些常用的算法, 即使有些算法不全直接出自随机过程．凡此考虑, 就成为我们再写一本主要为工科设计的教材的动机. 本书是主要为广大的工科, 理科非数学专业, 应用数学的非概率统计方向, 医学, 心理, 经济金融等诸多领域的本科生, 研究生, 教师, 研究人员, 工程师, 设计师等撰写的．在本书中，我们并不假定读者知道测度论的知识．鉴于选用本书的对象对概率统计的了解程度与时限很不一致, 根据读者的建议, 我们在本书中将与应用随机过程有关的概率统计的基本要点 (但并不完全概括一般概率统计课程所涉的内容), 略去其证明与概念的解释, 写成一个纲要, 作为第 1 章, 以便使用者能作 “在线的”温习与查阅. 但是, 我们在第 1 章中所引述的内容, 在个别地方会比一般工科概率论的基本课程的要求略为超出一些, 这是为一些有余力的读者准备的, 以便这一部分读者能得到更深一些的领会．我们建议使用本书的教师, 不要把第 1 章放在应用随机过程课程的教学内容中, 而只把它作为学习其他章节时的参考温习材料．由于我们希望有较宽的适应性, 本书与某些针对个别专门方向应用的应用随机过程教科书相比, 增加了不少内容．当然我们也舍去了, 或改写了某些经典的内容, 例如关于平稳过程的遍历论, 二阶矩过程与宽平稳过程的谱理论等等，我们基本上并没有展开，而只作了必要的论述．我们冀望使用本书授课的教师和自学的读者, 可以根据学生或读者自身的情况与需要, 把本书的素材分成几个不同的层次, 选用其中的一部分或几个部分, 即尽量不要把本书当作 ”套餐”(menu du jour), 而努力把它作为 ”点菜” (a la carte) 的菜单．在使用本书学习时, 要学会熟悉本书的目录与符号表，经常浏览并翻阅本书最后所附的名词索引, 以便能更好地使用 “点菜技术”．需要强调的是, 由于作者希望本书包容一些常见的应用层面, 以及经过简化后的典型应用例子, 并由此安排分析它们的各种工具或算法, 这就使本书的某些内容不可能完全按照一维的次序展开, 也就不可避免地会出现材料使用上的交叉．特别地, 在后面的几章中就明显地出现了这种交叉．这就使 “点菜技术” 更有必要．本书中带 * 的部分和小字的部分, 只是用作参考与注释, 完全可以略去. 不要因为它们而影响讲授或学习的主线．本书的撰写原则是，着重与强调想法, 背景与思路．为了使读者更便于理解, 对于命题与定理, 我们只给出简单的证明, 或者直观的证明, 而不追究其严格性．对于非常重要的内

容,例如 Markov链的与初始值无关的遍历定理,我们不吝冗余,在各种不同的情形反复叙述它的各种形式,以使原来并不熟悉的读者能逐步领会其实质.随着内容的逐步发展,我们也加进了一些对数学背景要求较多的一些概念与论述.对此感到不习惯或者并不需要的读者完全可以跳过它们,或者代之以更直观的理解本书的第1章是复习材料.第2章是通向实际模拟计算的桥梁.第3章,第5章,第6 章和第12章是基本理论.第4章,第7章,第8章,第9章,第11章,第13章和第16章是应用基本理论.第10章和第15章是应用中的最常见算法,第14章是应用.第17章则是拓广性的介绍.更具体地,我们把本书的材料组织如下:第1章是概率论与数理统计复习.第2章讲述典型分布的随机数的生成方法,这是 Monte Carlo算法(即随机模拟算法)的基础.第3章阐述随机过程的一般概念,及独立增量过程的重要的例子,包括 Poisson过程 Brown运动与离散的随机徘徊.第4章介绍更新过程,它是一种在应用中常见的计数随机过程.在本章中,我们以解释概念为主,较少论及证明.第5章是离散时间的 Markov链.我们从更新序列返回的周期现象来理解 Markov链的常返态的周期性.在本章中论述 Markov 链的极限性质时,采取了与传统著作中不同的方法,用转移矩阵的平均极限作为支点,避免了细致繁琐的讨论,这一章的侧重点是可逆性和不变分布,用以求非周期的正常返的不可约 Markov链的平稳分布.由此得到的 Markov链的遍历性定理是与 Markov链的初始状态无关的,这就满足了统计物理中的“各态历经性”的要求.第6章是连续时间的 Markov链,它在我国学术界有一个特殊的称谓,即所谓Q过程.在实际应用中,连续时间的 Markov链比离散时间的 Markov链更为常见.在应用问题中,其转移概率速率矩阵ρ是常常可以实际测量到的.在相当一般的条件下(这些条件在实际应用中总是能满足的),可逆分布和平稳分布所满足的方程都可以由转移速率阵Q表达.这一章的侧重点也是可逆性和不变分布,用以求时间连续的 Markov链的平稳分布,并得到与 Markov链的初始状态无关的遍历性定理.第 7章介绍排队理论梗概.主要点是了解这类问题的提法与关心的问题.第8章阐述 Markoⅴ Monte Carlo方法,其主要功能是对非常高维数的随机向量作取样.着重介绍了Gibs取样法与 Metropolis取样法及其理论依据.最后讲述了优化的模拟退火的基本思想.第9章致力于以图像处理为背景的随机场.在叙述时间离散状态连续的 Markov链的基础上,简要地介绍了用随机迭代系统方法处理图像.第10章论述近代在语音识别,手写体文字识别,DNA 序列信息采挖等实际问题中广有成效的隐 Markov模型,分析了这种模型的优点与它在应用中的潜力.在叙述用它建模的有效算法时,着重指出其与EM算法的联系.第11章在论述 Gauss系的基础上,从应用的角度阐述了时间序列的各种常用的模型,着重于介绍算法.第 12章是向基本理论的回归,其内容包括 Markov过程,鞅论浅介,随机微分方程与扩散过程的要义,这是近年来在应用中极为活跃的建模工具.最后还提供了随机微分方程的数值近似解法.第13章论及金融数学中的证券模型与其衍生金融工具的定价.特别介绍了二叉模型与随机利率的期限结构第14章着重介绍保险中的集体风险理论.第15章介绍各种算法, 主要包括EM算法,人工神经网络,遗传算法, Kohonen自组织算法,适应最小二乘法.第 16章给离散时间的 Markov决策以一个概括性的陈述.第17章介绍Ito随机微积分的推广, 主要是 Poisson过程的随机微积分,它对处理电子学,金融经济学中的一些理论问题,是个很有用的工具.最后还扼要地介绍自激点过程为了查阅方便,本书对定理,定义,引理,命题,例子等,都采用统一的计数系统

iii 容, 例如 Markov 链的与初始值无关的遍历定理, 我们不吝冗余, 在各种不同的情形反复叙述它的各种形式, 以使原来并不熟悉的读者能逐步领会其实质．随着内容的逐步发展, 我们也加进了一些对数学背景要求较多的一些概念与论述．对此感到不习惯或者并不需要的读者, 完全可以跳过它们, 或者代之以更直观的理解．本书的第 1 章是复习材料．第 2 章是通向实际模拟计算的桥梁．第 3 章, 第 5 章, 第 6 章和第 12 章是基本理论．第 4 章, 第 7 章, 第 8 章, 第 9 章, 第 11 章, 第 13 章和第 16 章是应用基本理论．第 10 章和第 15 章是应用中的最常见算法, 第 14 章是应用．第１７章则是拓广性的介绍．更具体地，我们把本书的材料组织如下：第 1 章是概率论与数理统计复习．第 2 章讲述典型分布的随机数的生成方法, 这是 Monte Carlo 算法(即随机模拟算法)的基础．第 3 章阐述随机过程的一般概念, 及独立增量过程的重要的例子, 包括 Poisson 过程, Brown 运动与离散的随机徘徊．第 4 章介绍更新过程, 它是一种在应用中常见的计数随机过程．在本章中, 我们以解释概念为主, 较少论及证明．第 5 章是离散时间的 Markov 链．我们从更新序列返回的周期现象来理解 Markov 链的常返态的周期性．在本章中论述 Markov 链的极限性质时, 采取了与传统著作中不同的方法, 用转移矩阵的平均极限作为支点, 避免了细致繁琐的讨论, 这一章的侧重点是可逆性和不变分布, 用以求非周期的正常返的不可约 Markov 链的平稳分布．由此得到的 Markov 链的遍历性定理是与 Markov 链的初始状态无关的, 这就满足了统计物理中的 “各态历经性”的要求．第 6 章是连续时间的 Markov 链，它在我国学术界有一个特殊的称谓, 即所谓Q 过程．在实际应用中，连续时间的 Markov 链比离散时间的 Markov 链更为常见．在应用问题中, 其转移概率速率矩阵Q 是常常可以实际测量到的．在相当一般的条件下(这些条件在实际应用中总是能满足的), 可逆分布和平稳分布所满足的方程都可以由转移速率阵Q 表达．这一章的侧重点也是可逆性和不变分布, 用以求时间连续的 Markov 链的平稳分布, 并得到与 Markov 链的初始状态无关的遍历性定理．第 7 章介绍排队理论梗概．主要点是了解这类问题的提法与关心的问题．第 8 章阐述 Markov Monte Carlo 方法, 其主要功能是对非常高维数的随机向量作取样．着重介绍了 Gibbs 取样法与 Metropolis 取样法及其理论依据．最后讲述了优化的模拟退火的基本思想．第 9 章致力于以图像处理为背景的随机场．在叙述时间离散状态连续的 Markov 链的基础上, 简要地介绍了用随机迭代系统方法处理图像．第 10 章论述近代在语音识别, 手写体文字识别, DNA 序列信息采挖等实际问题中广有成效的隐 Markov 模型, 分析了这种模型的优点与它在应用中的潜力．在叙述用它建模的有效算法时, 着重指出其与 EM 算法的联系．第 11 章在论述 Gauss 系的基础上，从应用的角度阐述了时间序列的各种常用的模型, 着重于介绍算法. 第 12 章是向基本理论的回归, 其内容包括 Markov 过程, 鞅论浅介, 随机微分方程与扩散过程的要义, 这是近年来在应用中极为活跃的建模工具．最后还提供了随机微分方程的数值近似解法．第 13 章论及金融数学中的证券模型与其衍生金融工具的定价．特别介绍了二叉模型与随机利率的期限结构. 第 14 章着重介绍保险中的集体风险理论．第 15 章介绍各种算法, 主要包括 EM 算法, 人工神经网络, 遗传算法, Kohonen 自组织算法, 适应最小二乘法．第 16章给离散时间的Markov决策以一个概括性的陈述．第１７章介绍Ito随机微积分的推广，主要是 Poisson 过程的随机微积分，它对处理电子学，金融经济学中的一些理论问题，是一个很有用的工具．最后还扼要地介绍自激点过程．为了查阅方便，本书对定理，定义，引理，命题，例子等，都采用统一的计数系统．