第1期 陈小平：人工智能中的封闭性和强封闭性一一现有成果的能力边界、应用条件和伦理风险 ·119· 性；2)场景D具有失误非致命性，即应用于场景 术，不符合的不能。现实中，满足强封闭性准则 D的智能系统的失误不产生致命的后果；3)基础 的行业部门大量存在，尤其在制造业、智慧农业 条件成熟性，即封闭性包含的所有要求在项目 等行业。然而，目前大部分人工智能工程项目并 P中都得到实际满足。 不符合强封闭性准则，由此带来的困难和困扰正 基础条件成熟性要求，暴力法需要的问题确 在呈现出来。 定性、模型可计算性（包括推理机/搜索算法存在 根据封闭性准则，暴力法是基于知识的，而知 性)、降射完闭性，训练法需要的代表集存在性、 识本质上是完毕降射，完闭性隐含着对场景中存 元模型存在性、扩展元模型存在性及训练成功等 在的各种“主体”的行为效果的充分把握。因此， 条件，都在工程项目中得到实际满足。因此，强 知识实际上包含着语用，而人工智能的主流观点 封闭性准则是与具体工程项目相关的，工程团队 将知识理解为单纯的语义，极少考虑语用。文 的实力，工程的工期、投入和其他资源的不同，都 献[13-15]建立了机器人概念模型与行动模型之 可能影响一个工程项目是否符合强封闭性准则。 间的语用关联，并为语用的有效表达引入了多型 即使一个工程项目完全满足基础条件成熟 知识。近年来随着可解释性引起关注，机器人概 性，由于脆弱性的困扰，仍无法保证智能系统不 念模型与行动模型的关联得到了更多研究。事 出现失误，包括致命性失误。为此，强封闭性准 实上，语用观点更恰当地反映了“智能问题”与“计 则引入了失误非致命性要求。失误非致命性和基 算问题”的本质区别：“计算”主要涉及算法及计算 础条件成熟性往往需要通过场景封闭化才能够满 资源，而“智能”则广泛涉及对现实世界的把握和 足。目前主要有两种封闭化手段：场景裁剪和场 交互氏4,11图 景改造，二者普遍适用于人工智能在信息产业和 近年来，降射引起了人工智能研究者的关 实体经济行业中的应用。 注9，然而暴力法尚未形成降射完闭性的成熟 场景裁剪的原理是：以智能系统的可靠性、 理论和技术。训练法的一个基本出发点是从带标 安全性为目标，对应用场景进行取舍，排除可能 注数据“提取知识”，从而绕过这一核心难点。该 导致致命性失误或违反基础条件成熟性要求的情 努力在封闭性范围内取得了里程碑式进展，在非 况。例如，在训练法中，为了规避无法获得代表 封闭性条件下未取得预期成功，两种情况下均带 集的难点，可将应用场景限制在环境变化可忽略 来不可解释的新难题。可见降射完闭性是无法回 或可控的范围内，在这种环境中可以获得质量足 避的一项基础挑战。 够高的训练数据集作为代表集。 封闭性准则给出了暴力法和训练法理论上的 场景改造的原理是：以环境可控性为目标，通 能力边界，即在非封闭场景中暴力法和训练法的 过对应用场景的改造或部分改造，使之封闭化、 应用没有成功保证。然而对很多产业部门特别是 准封闭化或局部封闭化。封闭化场景完全符合强 生活场景而言，封闭化往往是不适用的，发展开 封闭性准则：准封闭化场景基本满足基础条件成 放性场景中的人工智能技术是一项长期追求，国 熟性，同时满足失误非致命性；局部封闭化是在 内外学者进行了大量尝试和探索，415192训。 场景的某些局部实现封闭化。场景改造在汽车制 在前期工作的基础上，本文进一步给出了开放性 造业自动化中取得巨大成功，目前正在快速扩展 的一种理论上更系统的解释：不满足封闭性准则 到其他制造业行业，并且智能化程度不断提升， 的是理论上的开放性：不满足强封闭性准则的是 对农业、服务业的很多部门也是适用的。 工程上的开放性，从而为探索开放性人工智能提 对一部分场景（如开放领域人机对话）而言， 供了新的参考。 只要符合失误非致命性，即使另外两项要求不完 在强封闭性准则范围内，现有人工智能技术 全满足，也可能被接受。关于强封闭性准则的通 的实际应用通常需要经过由人完成的场景裁剪或 俗解释见文献[12]。 场景改造，所以人工智能不可能脱离人类而独立 6讨论 发展，不存在技术失控的风险。另一方面，对人 工智能的技术误判已成为当前人工智能发展的首 经历了三次浪潮、仍受封闭性限制的人工智 要障碍，将带来应用受阻、管理失误、技术误用等 能，当前面临的最大疑问是能否找到大规模应用 后果和风险。封闭性和强封闭性准则为消除技术 的可行途径。本文给出了一个回答：符合强封闭 误判提供了依据，有助于建立符合技术真实性和 性准则的工程项目可成功地应用现有人工智能技 社会发展需求的人工智能伦理体系。性；2) 场景 D 具有失误非致命性，即应用于场景 D 的智能系统的失误不产生致命的后果；3) 基础 条件成熟性，即封闭性包含的所有要求在项目 P 中都得到实际满足。 基础条件成熟性要求，暴力法需要的问题确 定性、模型可计算性 (包括推理机/搜索算法存在 性)、降射完闭性，训练法需要的代表集存在性、 元模型存在性、扩展元模型存在性及训练成功等 条件，都在工程项目中得到实际满足。因此，强 封闭性准则是与具体工程项目相关的，工程团队 的实力，工程的工期、投入和其他资源的不同，都 可能影响一个工程项目是否符合强封闭性准则。 即使一个工程项目完全满足基础条件成熟 性，由于脆弱性的困扰，仍无法保证智能系统不 出现失误，包括致命性失误。为此，强封闭性准 则引入了失误非致命性要求。失误非致命性和基 础条件成熟性往往需要通过场景封闭化才能够满 足。目前主要有两种封闭化手段：场景裁剪和场 景改造，二者普遍适用于人工智能在信息产业和 实体经济行业中的应用。 场景裁剪的原理是：以智能系统的可靠性、 安全性为目标，对应用场景进行取舍，排除可能 导致致命性失误或违反基础条件成熟性要求的情 况。例如，在训练法中，为了规避无法获得代表 集的难点，可将应用场景限制在环境变化可忽略 或可控的范围内，在这种环境中可以获得质量足 够高的训练数据集作为代表集。 场景改造的原理是：以环境可控性为目标，通 过对应用场景的改造或部分改造，使之封闭化、 准封闭化或局部封闭化。封闭化场景完全符合强 封闭性准则；准封闭化场景基本满足基础条件成 熟性，同时满足失误非致命性；局部封闭化是在 场景的某些局部实现封闭化。场景改造在汽车制 造业自动化中取得巨大成功，目前正在快速扩展 到其他制造业行业，并且智能化程度不断提升， 对农业、服务业的很多部门也是适用的。 对一部分场景 (如开放领域人机对话) 而言， 只要符合失误非致命性，即使另外两项要求不完 全满足，也可能被接受。关于强封闭性准则的通 俗解释见文献 [12]。 6 讨论 经历了三次浪潮、仍受封闭性限制的人工智 能，当前面临的最大疑问是能否找到大规模应用 的可行途径。本文给出了一个回答：符合强封闭 性准则的工程项目可成功地应用现有人工智能技 术，不符合的不能。现实中，满足强封闭性准则 的行业部门大量存在，尤其在制造业、智慧农业 等行业。然而，目前大部分人工智能工程项目并 不符合强封闭性准则，由此带来的困难和困扰正 在呈现出来。 根据封闭性准则，暴力法是基于知识的，而知 识本质上是完毕降射，完闭性隐含着对场景中存 在的各种“主体”的行为效果的充分把握。因此， 知识实际上包含着语用，而人工智能的主流观点 将知识理解为单纯的语义，极少考虑语用。文 献 [13-15] 建立了机器人概念模型与行动模型之 间的语用关联，并为语用的有效表达引入了多型 知识。近年来随着可解释性引起关注，机器人概 念模型与行动模型的关联得到了更多研究[16]。事 实上，语用观点更恰当地反映了“智能问题”与“计 算问题”的本质区别：“计算”主要涉及算法及计算 资源，而“智能”则广泛涉及对现实世界的把握和 交互[5, 14, 17-18]。 近年来，降射引起了人工智能研究者的关 注 [15, 18-19] ，然而暴力法尚未形成降射完闭性的成熟 理论和技术。训练法的一个基本出发点是从带标 注数据“提取知识”，从而绕过这一核心难点。该 努力在封闭性范围内取得了里程碑式进展，在非 封闭性条件下未取得预期成功，两种情况下均带 来不可解释的新难题。可见降射完闭性是无法回 避的一项基础挑战。 封闭性准则给出了暴力法和训练法理论上的 能力边界，即在非封闭场景中暴力法和训练法的 应用没有成功保证。然而对很多产业部门特别是 生活场景而言，封闭化往往是不适用的，发展开 放性场景中的人工智能技术是一项长期追求，国 内外学者进行了大量尝试和探索[3-4, 14-15, 17, 19-21]。 在前期工作的基础上，本文进一步给出了开放性 的一种理论上更系统的解释：不满足封闭性准则 的是理论上的开放性；不满足强封闭性准则的是 工程上的开放性，从而为探索开放性人工智能提 供了新的参考。 在强封闭性准则范围内，现有人工智能技术 的实际应用通常需要经过由人完成的场景裁剪或 场景改造，所以人工智能不可能脱离人类而独立 发展，不存在技术失控的风险。另一方面，对人 工智能的技术误判已成为当前人工智能发展的首 要障碍，将带来应用受阻、管理失误、技术误用等 后果和风险。封闭性和强封闭性准则为消除技术 误判提供了依据，有助于建立符合技术真实性和 社会发展需求的人工智能伦理体系[21]。 第 1 期 陈小平：人工智能中的封闭性和强封闭性——现有成果的能力边界、应用条件和伦理风险 ·119·