假定已经算出了第n次选代的Pn(9|y),那么第n+1次迭代的Pn+1(9|y)用以下的两个步骤轮番地 修改得到 (2)1( Imputation)步骤(得到潜变量的条件样本):先按pn(9|y)对9n作随机取样,再 按p(=|y9)独立地取样m个:二,…,二(m充分大 (3)P( Poster ior)步骤(用增补后验分布更新后验分布):令 pn+1(9|y) p(9|y,z) 3几种智能算法 3.1背景 随着髙性能计算机的发展,岀现了一系列算法,如神经网络,模拟退火,遗传算法,演 化算法,隐 Markov模型,自适应算法等.它们大多出自仿真人的思维,不仅具有通用,稳 健( robust),简单及便于并行处理等优点,而且也有望成为将数值计算与语义表达,形象思 维等与高级智能行为相联系的桥梁.事实上,把人的智能与思维仅仅理解为主要是逻辑思维 是有很大的片面性的.与逻辑思维相反的以因果思维与统计判决为代表的非逻辑推断,应该 说在日常推断中是更为本质的.例如,在逻辑推理中,从”A蕴涵B”这个命题能作的推 理是:一旦A出现,就立知B发生.这只是一种简单思维.而人类的智能推断是更为高级 的思维.其判断过程却往往是一个由”结果”探求其”原因”的相反过程.例如,医生 诊断疾病时,常常是:由”疾病A有症状B”这一命题,从病人有症状B,反过来推断病 人有多大的可能有疾病A.这是一种非逻辑的推断,含有不确定性,还有犯错误的风险.然 而这正体现了人类的高级智能活动.同样的推理还有:法医尸检死因,侦探寻找作案人,天 气预报,考古分析,矿藏探测等等.与之相联系的计算方法都可归入智能算法 一般地,智能算法常具有以下的特点 (1)大都引入了人为的随机因素,因而其计算过程实际上是作随机过程的模拟.然 而,这种人工噪声的作用不仅不起干扰的作用,而是相反地起正面的作用.使用它完全是为 了控制计算的进行方向 (2)大都具有自适应机制,可以在计算过程中不断调整. (3)大都是针对通用的目标函数而设计的,并不采用具体问题具体处理的启发式方 (4)不少算法是对高维及复杂情形设计的.它们在低维或简单的情形有时效果很差, 有时也显得很笨拙 3.2决定性的人工神经网络 神经网络是一个由彼此具有相互作用的多个神经元联结在一起的一个系统.作为神经 网络的整个系统的协同工作产生一个总的效应.这个总的效应是一种功能,它可以是对应于 定的输入时有一定的相应输出,也可以是一种记忆功能.神经网络的重点是功能研究.在 功能研究的基础上,构造具有相互作用的粒子系统,称为人工神经网络,以仿真地起到成为 模拟某种功能的功能器.在数学上,人工神经网络也可以用来构造具有某种绐定功能的分片 线性处理器.人工神经网络的操作一般具有黑箱的特点.神经网络方法的精神在于 由从例子(即样品)学习中,归纳出规律 424424 假定已经算出了第 n 次迭代的 p ( | y) n J , 那么第n +1次迭代的 ( | ) 1 p y n+ J 用以下的两个步骤轮番地 修改得到 （2） I (Imputation) 步骤 (得到潜变量的条件样本)： 先按 p ( | y) n J 对Jn 作随机取样, 再 按 ( | , ) n p z y J 独立地取样m 个: (1) ( ) , , m z L z (m 充分大); （3） P (Posterior) 步骤 (用增补后验分布更新后验分布)： 令 ( | , ) 1 ( | ) ( ) 1 1 i m i n p y z m p J y å J = + = ． ３ 几种智能算法 3. １ 背景 随着高性能计算机的发展, 出现了一系列算法, 如神经网络, 模拟退火, 遗传算法, 演 化算法, 隐 Markov 模型, 自适应算法等. 它们大多出自仿真人的思维, 不仅具有通用, 稳 健(robust), 简单及便于并行处理等优点, 而且也有望成为将数值计算与语义表达, 形象思 维等与高级智能行为相联系的桥梁. 事实上, 把人的智能与思维仅仅理解为主要是逻辑思维, 是有很大的片面性的. 与逻辑思维相反的以因果思维与统计判决为代表的非逻辑推断,应该 说在日常推断中是更为本质的. 例如, 在逻辑推理中, 从 ”A 蕴涵 B” 这个命题能作的推 理是: 一旦 A 出现, 就立知 B 发生. 这只是一种简单思维. 而人类的智能推断是更为高级 的思维. 其判断过程却往往是一个由 ”结果” 探求其 ”原因” 的相反过程. 例如, 医生 诊断疾病时, 常常是: 由 ”疾病 A 有症状 B” 这一命题, 从病人有症状 B, 反过来推断病 人有多大的可能有疾病 A. 这是一种非逻辑的推断, 含有不确定性, 还有犯错误的风险. 然 而这正体现了人类的高级智能活动. 同样的推理还有: 法医尸检死因, 侦探寻找作案人, 天 气预报, 考古分析, 矿藏探测等等. 与之相联系的计算方法都可归入智能算法. 一般地, 智能算法常具有以下的特点: (1) 大都引入了人为的随机因素, 因而其计算过程实际上是作随机过程的模拟. 然 而,这种人工噪声的作用不仅不起干扰的作用, 而是相反地起正面的作用. 使用它完全是为 了控制计算的进行方向. (2) 大都具有自适应机制, 可以在计算过程中不断调整. (3) 大都是针对通用的目标函数而设计的, 并不采用具体问题具体处理的启发式方 法. (4) 不少算法是对高维及复杂情形设计的. 它们在低维或简单的情形有时效果很差, 有时也显得很笨拙. ３．２ 决定性的人工神经网络 神经网络是一个由彼此具有相互作用的多个神经元联结在一起的一个系统. 作为神经 网络的整个系统的协同工作产生一个总的效应. 这个总的效应是一种功能, 它可以是对应于 一定的输入时有一定的相应输出, 也可以是一种记忆功能. 神经网络的重点是功能研究. 在 功能研究的基础上, 构造具有相互作用的粒子系统, 称为人工神经网络, 以仿真地起到成为 模拟某种功能的功能器. 在数学上, 人工神经网络也可以用来构造具有某种给定功能的分片 线性处理器. 人工神经网络的操作一般具有黑箱的特点. 神经网络方法的精神在于: 由从例子(即样品)学习中, 归纳出规律