·118· 智能系统学报 第15卷 回答是否“正确”。因此，仅仅要求对话系统的 功的。 reasoner.或searcher是图灵可计算的，并不完全符 直观上，一个场景D是依训练封闭的，需要 合图灵可计算性的本意。 具备一套评价准则E、一个有限确定的代表集 降射完闭性是人工智能中最难以把握、最易 T°、一种合适的人工神经元网络m和一个合适的 被忽视、最具挑战性的。在简单场景的建模中， 学习算法1，使得以T°用1训练后m达到E的全 完闭性往往被不知不觉地违反，从而导致难以觉 部评价指标。其中，学习算法1被默认为图灵可 察的错误：而在很多复杂场景的建模中，满足完 计算的。一个场景D能否获得满足以上条件的 闭性要求通常是极其困难的。导致降射不完闭 E、T°、m和1，通常没有理论保障，只能依靠训练 的3种常见情况倒如下：1)对象不确定性一某 者的经验和摸索。 些对象变体的分类规则难以穷尽地显式表达，导 理论上，如果一个场景是依训练封闭的，则用 致分类困难，比如即使概念“杯子”在模型中的内 训练法可解：反之，如果一个场景不是依训练封 涵描述是明确的，其外延和降射却可能无法确 闭的，则是不可解的，或至少可解性没有理论保 定；2)属性不确定性—现实场景的某些属性是 证。例如，如果场景D不存在代表集T°，则“扩展 含糊的和场景依赖的，难以穷尽地显式表达，导 的元模型M(D)=<T°，E,m,>训练成功”是无定 致这些属性在真实世界中的对应物难以确定； 义的。 3)关联不确定性一对象/属性与场景在真实世 界中的关联难以确定，也难以穷尽地显式表达。 5强封闭性 这是暴力法在理论基础研究中遇到的深层挑战。 封闭性准则给出了暴力法和训练法在理论上 理论上，如果一个场景是依模型封闭的，则用 的能力边界。但是，封闭性准则要求的所有条件 暴力法是可解的，即存在推理机或搜索算法，对 都默认为理论上成立，这不符合实际应用的要 Q中每个问题给出正确的回答；反之，一个场景 求，导致满足封闭性准则的场景在工程上仍然不 只要不满足3个条件中的任何一条，就是非封闭 可解。例如，依模型封闭要求存在满足一定条件 的，该场景用暴力法在理论上是不可解的，或至 的扩展模型，其中的“存在”默认为理论上存在， 少没有可解的理论保证。 而不是在工程应用中实际地构建出来。 4.2依训练封闭 对封闭性准则的另一项重大挑战来自脆弱 首先定义“代表集”。任给训练法的一个扩展 性。自20世纪80年代以来，脆弱性已成为现有 的元模型M(D=<T,E,m,P,假设场景D的全体 人工智能技术实际应用的主要瓶颈，训练法和暴 相关数据的集合为T。T的一个子集T称为 力法都深受其害。脆弱性的主要表现是：如果智 D的一个代表集，如果T°的训练效果不低于T的 能系统的输入不在知识库或训练好的人工神经网 训练效果，即，如果以T中数据用1训练出的人工 络的有效范围内，系统可产生错误的输出。实际 神经元网络m能达到E的全部指标，则以T°中 应用中无处不在的感知噪声是脆弱性的一个主要 数据用1训练出的m也能达到E的全部指标。 原因。例如，在文献[12]报告的测试中，先用一 例如，假设D是一个图像分类任务，E规定的 个著名商用机器学习系统训练出一个深层神经网 指标是分类错误率ε。如果用T训练出的人工神 络，该网络可以很低的误识别率从照片中识别各 经元网络m的错误率不高于￡，那么用T训练出 种枪支。然后，人为修改这些照片上的少量像素 的人工神经元网络m的错误率也不高于&，则T° (代表感知噪声)，而这些修改对人眼识别没有任 是D的一个代表集。实际应用中，T通常是得不 何影响，可是训练好的深层神经网络对于被修改 到的，只能利用它的某个子集，可是并非T的任 照片的误识别率却大幅升高，而且会发生离奇的 意子集T都能够保证训练效果。故本文引入代表 错误。2013年以来，针对深度学习已发现大量类 集T°。 似的例子。 一个应用场景D是依训练封闭的，如果存在 上述困难目前在理论上无解，但一定条件下 D的一个元模型M(D)=<T°，E,满足下列2个条 是工程上可解的。本文将这些条件概括为强封闭 件：1)T°是D的一个代表集，并且是有限确定的， 性准则，在符合该准则的工程项目中可应用暴力 即T°是一个有限集，它的每一条数据的内容包括 法、训练法或它们的集成。 标注都是完全给定的；2)存在一个扩展的元模型 一个场景D在一个工程项目P中具有强封闭 M(D)=<T°，E,m,1>,使得M(D)是训练成 性，如果满足下列所有条件：1)场景D具有封闭回答是否“正确”。因此，仅仅要求对话系统的 reasoner 或 searcher 是图灵可计算的，并不完全符 合图灵可计算性的本意。 降射完闭性是人工智能中最难以把握、最易 被忽视、最具挑战性的。在简单场景的建模中， 完闭性往往被不知不觉地违反，从而导致难以觉 察的错误；而在很多复杂场景的建模中，满足完 闭性要求通常是极其困难的[4]。导致降射不完闭 的 3 种常见情况[3] 如下：1) 对象不确定性−某 些对象变体的分类规则难以穷尽地显式表达，导 致分类困难，比如即使概念“杯子”在模型中的内 涵描述是明确的，其外延和降射却可能无法确 定；2) 属性不确定性−现实场景的某些属性是 含糊的和场景依赖的，难以穷尽地显式表达，导 致这些属性在真实世界中的对应物难以确定； 3) 关联不确定性−对象/属性与场景在真实世 界中的关联难以确定，也难以穷尽地显式表达。 这是暴力法在理论基础研究中遇到的深层挑战。 理论上，如果一个场景是依模型封闭的，则用 暴力法是可解的，即存在推理机或搜索算法，对 Q 中每个问题给出正确的回答；反之，一个场景 只要不满足 3 个条件中的任何一条，就是非封闭 的，该场景用暴力法在理论上是不可解的，或至 少没有可解的理论保证。 4.2 依训练封闭 M∗ (D) T ◦ T ◦ T ◦ 首先定义“代表集”。任给训练法的一个扩展 的元模型 =<T, E, m, t>，假设场景 D 的全体 相关数据的集合为 T *。T *的一个子集 称为 D 的一个代表集，如果 的训练效果不低于 T *的 训练效果，即，如果以 T *中数据用 t 训练出的人工 神经元网络 m 能达到 E 的全部指标，则以 中 数据用 t 训练出的 m 也能达到 E 的全部指标。 T ◦ T ◦ T ◦ 例如，假设 D 是一个图像分类任务，E 规定的 指标是分类错误率 ε。如果用 T *训练出的人工神 经元网络 m 的错误率不高于 ε，那么用 训练出 的人工神经元网络 m 的错误率也不高于 ε，则 是 D 的一个代表集。实际应用中，T *通常是得不 到的，只能利用它的某个子集，可是并非 T *的任 意子集 T 都能够保证训练效果。故本文引入代表 集 。 M(D) T ◦ T ◦ T ◦ M∗ (D) T ◦ M∗ (D) 一个应用场景 D 是依训练封闭的，如果存在 D 的一个元模型 =< , E>，满足下列 2 个条 件：1) 是 D 的一个代表集，并且是有限确定的， 即 是一个有限集，它的每一条数据的内容包括 标注都是完全给定的；2) 存在一个扩展的元模型 = < , E , m , t > ，使得 是训练成 功的。 T ◦ T ◦ T ◦ 直观上，一个场景 D 是依训练封闭的，需要 具备一套评价准则 E、一个有限确定的代表集 、一种合适的人工神经元网络 m 和一个合适的 学习算法 t，使得以 用 t 训练后 m 达到 E 的全 部评价指标。其中，学习算法 t 被默认为图灵可 计算的。一个场景 D 能否获得满足以上条件的 E、 、m 和 t，通常没有理论保障，只能依靠训练 者的经验和摸索。 T ◦ M∗ (D) T ◦ 理论上，如果一个场景是依训练封闭的，则用 训练法可解；反之，如果一个场景不是依训练封 闭的，则是不可解的，或至少可解性没有理论保 证。例如，如果场景 D 不存在代表集 ，则“扩展 的元模型 =< , E, m, t>训练成功”是无定 义的。 5 强封闭性 封闭性准则给出了暴力法和训练法在理论上 的能力边界。但是，封闭性准则要求的所有条件 都默认为理论上成立，这不符合实际应用的要 求，导致满足封闭性准则的场景在工程上仍然不 可解。例如，依模型封闭要求存在满足一定条件 的扩展模型，其中的“存在”默认为理论上存在， 而不是在工程应用中实际地构建出来。 对封闭性准则的另一项重大挑战来自脆弱 性。自 20 世纪 80 年代以来，脆弱性已成为现有 人工智能技术实际应用的主要瓶颈，训练法和暴 力法都深受其害。脆弱性的主要表现是：如果智 能系统的输入不在知识库或训练好的人工神经网 络的有效范围内，系统可产生错误的输出。实际 应用中无处不在的感知噪声是脆弱性的一个主要 原因。例如，在文献 [12] 报告的测试中，先用一 个著名商用机器学习系统训练出一个深层神经网 络，该网络可以很低的误识别率从照片中识别各 种枪支。然后，人为修改这些照片上的少量像素 (代表感知噪声)，而这些修改对人眼识别没有任 何影响，可是训练好的深层神经网络对于被修改 照片的误识别率却大幅升高，而且会发生离奇的 错误。2013 年以来，针对深度学习已发现大量类 似的例子。 上述困难目前在理论上无解，但一定条件下 是工程上可解的。本文将这些条件概括为强封闭 性准则，在符合该准则的工程项目中可应用暴力 法、训练法或它们的集成。 一个场景 D 在一个工程项目 P 中具有强封闭 性，如果满足下列所有条件：1) 场景 D 具有封闭 ·118· 智 能 系 统 学 报 第 15 卷