·394· 智能系统学报 第14卷 斯总统普京强调“未来谁率先掌握了AI,谁就能 在其生命周期内反复学习提高、不断演化发展， 称霸世界”；2018年4月16日英国议会AI特别委 不会一成不变四。 员会发布报告认为，英国在AI方面有能力成为世 浪高 界领导者和AI创新中心；2018年4月25日欧盟 第三次浪潮 委员会计划2018一2020年在AI领域投资240亿 第二次浪潮① 美元，确保其世界领先地位：2018年5月10日美 第一次浪潮 国白宫为在未来的AI领域“确保美国第一”成立 了AI专门委员会。与此形成鲜明对照的是不少 1956196019701980199020002010年 著名的AI学者纷纷指出，当今AI已陷入概率关 联的泥潭，所谓深度学习的一切成就都不过是曲 图1人工智能学科和产业60年发展态势图 Fig.1 Development trend of the AI discipline and in- 线拟合而已，它是在用机器擅长的关联推理代替 dustry in 60 years 人类擅长的因果推理，这种“大数据小任务”的智 具体来看，AI学科的孕育和早期发展都是在 能模式并不能体现人类智能的真正含义，具有普 布尔信息处理级别上完成的，当时出现了两个不 适性的智能模式应该是“小数据大任务”。他们认 同但是相互等价的视角回：从逻辑角度看，人类智 为基于深度神经网络的AI是不能解释因而无法 理解的AI,如果人类过度依赖它并无条件地相信 能活动过程可用刚性逻辑（即数理形式逻辑、标 它，那将是十分危险的。特别是，在司法、法律、 准逻辑)的布尔算子组描述；从神经元角度看，人 医疗、金融、自动驾驶、自主武器等人命关天的领 脑的智能活动过程可用二值神经元的MP模型描 域，更是要慎之又慎，千万不能放任自流。基于 述。布尔逻辑算子组由英国数学家G.Boole于 这个大的认识和反思背景，本文拟集中讨论为什 1854年在《思维规律》中提出：任意x,y,二∈{0， 么深度神经网络会让人工智能研究丧失可解释 1},非算子一x=1-x,与算子xAy=T[x+y-1],或算 性？我们如何才能重新找回人工智能研究的可解 子xV=T[x+y,蕴涵算子x→=T[-x+y-1]。其中 释性？文中所涉及的“可解释性”满足一种强定 z=「[v]是0,1限幅函数，当v<0时=0，当>1时 义：它要求从前提到结论的推理全过程都能用理 =1;否则=v。二值神经元模型MP(又称感知机， 论上成熟可靠的逻辑语言描述清楚。 阈元)由心理学家McCulloch和数学家W.Pitts 于1943年共同提出，是一种最简单的神经元模 1现今的人工智能研究何以会失去 型（见图2），依靠带阈值的0,1限幅运算=「[a+b- 可解释性 ©可以完成各种二值信息变换过程，其中x,y∈{0， 1.1原本二值神经元与布尔逻辑算子是完全等 1}是输入变量，z∈{0,1}是输出变量，a是输入 价的 x的连接权系数，b是输入y的连接权系数，e是神 人工智能学科和产业已走过整整一个甲子的 经元的激活阈值，△1是神经元的处理延迟时间。 成长之路，图1是这60年AI发展的整体态势示 细胞壁 限辐器 意图，其中：曲线①是主波，它说明人类社会已不 國值 整和器 可逆转地进入到信息社会，智能化是当今时代的 主旋律，它必然会扶摇直上九重天，势不可挡；曲 线②是叠加在主波上的次波，它说明各个时期推 延迟△1 1+△ 二值神经元的内部结构 动AI走向发展高潮的基本原理和关键技术，虽然 图2二值神经元的MP模型 在一定范围内能够解决某些智能模拟问题，效果 Fig.2 MP model of two valued neurons 突出，但是一旦把它推广到更大范围使用时，因 对只有1个输入和1个输出的神经元=x), 缺乏人类智能活动的某些重要属性，效果会立马 x,z∈{0,1}来说，只有4个可能的排列组合状态 下降，甚至闹出大笑话。这说明，人的智能活动 (称为信息处理模式)：=fo(x)三0；=f(x)=x; 并不是由几个确定性因素决定的简单信息处理过 =f(x)=1-x,=(x)归1。这4种神经元信息处理模 程，而是由众多不确定性因素参与的复杂信息处 式都有对应的刚性逻辑表达式：=0=x∧一x; 理过程，广泛存在非线性涌现效应。所以研究 xx;=xVxo A是一个由点到面、由浅入深、长期试错、不断 在研究一个神经元内部信息处理模式时，没 发现、不断完善的演化过程，任何AI产品都需要 有必要考虑神经元的多输出问题，因为它只关系斯总统普京强调“未来谁率先掌握了 AI，谁就能 称霸世界”；2018 年 4 月 16 日英国议会 AI 特别委 员会发布报告认为，英国在 AI 方面有能力成为世 界领导者和 AI 创新中心；2018 年 4 月 25 日欧盟 委员会计划 2018—2020 年在 AI 领域投资 240 亿 美元，确保其世界领先地位；2018 年 5 月 10 日美 国白宫为在未来的 AI 领域“确保美国第一”成立 了 AI 专门委员会。与此形成鲜明对照的是不少 著名的 AI 学者纷纷指出，当今 AI 已陷入概率关 联的泥潭，所谓深度学习的一切成就都不过是曲 线拟合而已，它是在用机器擅长的关联推理代替 人类擅长的因果推理，这种“大数据小任务”的智 能模式并不能体现人类智能的真正含义，具有普 适性的智能模式应该是“小数据大任务”。他们认 为基于深度神经网络的 AI 是不能解释因而无法 理解的 AI，如果人类过度依赖它并无条件地相信 它，那将是十分危险的。特别是，在司法、法律、 医疗、金融、自动驾驶、自主武器等人命关天的领 域，更是要慎之又慎，千万不能放任自流。基于 这个大的认识和反思背景，本文拟集中讨论为什 么深度神经网络会让人工智能研究丧失可解释 性？我们如何才能重新找回人工智能研究的可解 释性？文中所涉及的“可解释性”满足一种强定 义：它要求从前提到结论的推理全过程都能用理 论上成熟可靠的逻辑语言描述清楚。 1 现今的人工智能研究何以会失去 可解释性 1.1 原本二值神经元与布尔逻辑算子是完全等 价的 人工智能学科和产业已走过整整一个甲子的 成长之路，图 1 是这 60 年 AI 发展的整体态势示 意图，其中：曲线①是主波，它说明人类社会已不 可逆转地进入到信息社会，智能化是当今时代的 主旋律，它必然会扶摇直上九重天，势不可挡；曲 线②是叠加在主波上的次波，它说明各个时期推 动 AI 走向发展高潮的基本原理和关键技术，虽然 在一定范围内能够解决某些智能模拟问题，效果 突出，但是一旦把它推广到更大范围使用时，因 缺乏人类智能活动的某些重要属性，效果会立马 下降，甚至闹出大笑话。这说明，人的智能活动 并不是由几个确定性因素决定的简单信息处理过 程，而是由众多不确定性因素参与的复杂信息处 理过程，广泛存在非线性涌现效应。所以研究 AI 是一个由点到面、由浅入深、长期试错、不断 发现、不断完善的演化过程，任何 AI 产品都需要 在其生命周期内反复学习提高、不断演化发展， 不会一成不变[1]。 1956 1960 1970 1980 1990 2000 2010 年 浪高 第一次浪潮 第二次浪潮 第三次浪潮 ① ② 图 1 人工智能学科和产业 60 年发展态势图 Fig. 1 Development trend of the AI discipline and in￾dustry in 60 years 具体来看，AI 学科的孕育和早期发展都是在 布尔信息处理级别上完成的，当时出现了两个不 同但是相互等价的视角[2] ：从逻辑角度看，人类智 能活动过程可用刚性逻辑 (即数理形式逻辑、标 准逻辑) 的布尔算子组描述；从神经元角度看，人 脑的智能活动过程可用二值神经元的 MP 模型描 述。布尔逻辑算子组由英国数学家 G.Boole 于 1854 年在《思维规律》中提出：任意 x, y, z∈{0, 1}, 非算子￢x=1−x, 与算子 x∧y=Γ[x+y−1], 或算 子 x∨y=Γ[x+y], 蕴涵算子 x→y=Γ[−x+y−1]。其中 z=Γ[v]是 0，1 限幅函数，当 v<0 时 z=0，当 v>1 时 z=1; 否则 z=v。二值神经元模型 MP(又称感知机， 阈元) 由心理学家 McCulloch 和数学家 W.Pitts 于 1943 年共同提出，是一种最简单的神经元模 型 (见图 2)，依靠带阈值的 0，1 限幅运算 z=Γ[ax+by− e]可以完成各种二值信息变换过程，其中 x, y∈{0, 1}是输入变量，z∈{0, 1}是输出变量，a 是输入 x 的连接权系数，b 是输入 y 的连接权系数，e 是神 经元的激活阈值，Δt 是神经元的处理延迟时间。 x y t a b by ax 权 值 e −e 阈值 整和器 ax+by−e v 延迟 Δt Γ [v] 1 0 z 细胞壁 限幅器 输出 输入 二值神经元的内部结构 t+Δt 图 2 二值神经元的 MP 模型 Fig. 2 MP model of two valued neurons 对只有 1 个输入和 1 个输出的神经元 z=f(x), x, z∈{0, 1}来说，只有 4 个可能的排列组合状态 (称为信息处理模式 )： z=f 0 ( x )≡0; z=f 1 ( x ) =x ; z=f2 (x)=1−x; z=f3 (x)≡1。这 4 种神经元信息处理模 式都有对应的刚性逻辑表达式： z≡0=x∧￢x ; z=x; z=￢x；z≡1=x∨￢x。 在研究一个神经元内部信息处理模式时，没 有必要考虑神经元的多输出问题，因为它只关系 ·394· 智 能 系 统 学 报 第 14 卷