·1190· 智能系统学报 第14卷 础就是一系列的数列，此数列称为fibonacci序 传统数字序列逻辑学习也存在一定的不足，它很 列。大自然中还有很多与fibonacci序列有关的奇 难解决未知数字和规则的模式构建的数字序列预 妙现象，如蜘蛛网、水流的旋涡、蜗牛壳的螺纹以 测问题。例如，每月的天数序列、Nested序列、交 及星系内星球的分布等。 替序列、带负数的序列等。举一个更为具体的例 数字序列逻辑学习问题是归纳推理和模式发 子：1)2,4,6810,12，…，2)1,2,3,5,4,4,2，…，对于第 现的经典问题之一)，这些问题在哲学和数学领 1个序列，可以明显地观察到其是一个加2的规 域中已经研究了数千年，在心理学和计算机科学 律，这样就可以构建一个满足该规律的模式，传 领域中也已经研究了数十年。近些年来随着机 统数字序列技术可以很容易地解决此类预测问 器学习和深度学习的不断发展别，序列预测问题 题。对于第2个序列，难以看出其中的规律，且很 更是吸引了大家的广泛研究。数字序列预测问题 难用传统方法得到一种满足此序列的模式来预测 在各个领域的应用也是相当的广泛。其可以编码 该序列，实际上该序列是书写汉字如一二三四等 渐进矩阵问题，该问题是用二维矩阵表示的，科 需要的笔画数，故而下一个预测结果应为2。 学预测问题包括股票的预测、智商测试等，以及 针对传统数字序列逻辑学习的不足，本文提 许多归纳推理问题u0-121。早在1963年，Simon 出了图像数字序列逻辑学习任务，以从另一个角 等1就提出了针对一系列字母序列来预测的模 度来解决数字序列预测问题，其可以很好地解决 式描述程序，并解释了人类如何从记忆中的概念 传统数字序列难以解决的未知数字和规则的模式 或规则产生连续模式。Sanghi等提出了一种用 构建的序列预测问题。在传统数字序列逻辑学习 于智力测试的程序，该程序还解决了各种数字序 中，数字的含义及其规则都已被事先定义。而本 列预测问题。且针对数字序列预测问题的解决已 文提出的图像数字序列逻辑学习是在不知道图像 有很多方法，例如：反统一算法成功应用于交替 间关系和图像内包含的内容的意义的前提下，仍 序列和斐波纳契序列。Siebers等I1提出了一种 可以自动学习出其包含的内在逻辑模式。在本文 半分析方法用以解决自然数序列归纳问题，这实 中，图像序列中的所有图像都是15×85像素的黑 则是一种典型的智力测试任务，该方法通过术语 白图像，且每张图像包含一个多位数。然后将图 结构的启发式枚举来猜测给定数字序列的术语结 像传递给计算机，且并不告诉计算机图像中包含 构，最后利用数字序列评估系统来评估该方法， 最终结果精度达到93.2%。然而，其缺点是枚举 的内容是什么，让计算机自动学习图像之间的内 在逻辑模式，并且预测下一张图像中的内容。由 和搜索受到一种看似合理的偏见的严格限制。 Strannegard等1提出了IQ测试中数字序列预测 此看来，图像数字序列逻辑学习不仅可以解决数 问题的计算方法。该计算方法是通过开发ASov- 字序列预测问题，更是为解决一系列未知逻辑模 er来实现的，ASolver是一种基于有限工作记忆思 式构建任务提供了一种可能。 想的拟人化认知系统，其利用了人类推理的模型。 1 研究方法 结果表明，该算法的性能优于Maple和Wolfram- Alpha等数学工具。Hofmann等)证明了归纳程 本节主要介绍了图像数字序列逻辑学习的基 序系统IGOR2可以解决数字序列预测问题，其不 本任务，并详细描述了4种有代表性的深度神经 同于上述专门用于解决数字序列域中问题的系 网络的网络结构MLP、LSTM、CNN MLP、ResNet), 统，IGOR2可以解决不同问题解决域中的问题。 1.1 基本任务 IGOR2是一个从小组输入/输出示例中学习功能 图像数字序列逻辑学习是从另一个角度来解 程序的系统。但不足之处在于其无法很好地处理 决数字序列预测问题，其与传统数字序列解决方 负数和交替序列。Ragni等u8-1y提出了一种基于 案不同。传统数字序列技术是在已知数字和规则 人工神经网络(ANNs)的动态学习方法来解决数 的前提下构建模式。而本文的方法是在不知道图 字序列的预测问题。其总体结果与人类水平相 像间关系和图像内包含的内容的意义下来预测序 当，但误差分布差异很大，且无法解决Nested序 列，然后利用深度神经网络来完成数字序列逻辑 列问题（见2.1）。 学习任务，该任务的输入是几张相关的图像序 上述方法都是传统的方法，它是基于已知的 列，其输出仍然是图像，展示的是下一张图像序 数字和规则来构建模式，然后预测数字。然而， 列预测的结果。础就是一系列的数列，此数列称为 fibonacci 序 列。大自然中还有很多与 fibonacci 序列有关的奇 妙现象，如蜘蛛网、水流的旋涡、蜗牛壳的螺纹以 及星系内星球的分布等。 数字序列逻辑学习问题是归纳推理和模式发 现的经典问题之一[2-3] ，这些问题在哲学和数学领 域中已经研究了数千年，在心理学和计算机科学 领域中也已经研究了数十年[4]。近些年来随着机 器学习和深度学习的不断发展[5-8] ，序列预测问题 更是吸引了大家的广泛研究。数字序列预测问题 在各个领域的应用也是相当的广泛。其可以编码 渐进矩阵问题[9] ，该问题是用二维矩阵表示的，科 学预测问题包括股票的预测、智商测试等，以及 许多归纳推理问题[ 1 0 - 1 2 ]。早在 1963 年 ，Simon 等 [13] 就提出了针对一系列字母序列来预测的模 式描述程序，并解释了人类如何从记忆中的概念 或规则产生连续模式。Sanghi 等 [14] 提出了一种用 于智力测试的程序，该程序还解决了各种数字序 列预测问题。且针对数字序列预测问题的解决已 有很多方法，例如：反统一算法成功应用于交替 序列和斐波纳契序列。Siebers 等 [15] 提出了一种 半分析方法用以解决自然数序列归纳问题，这实 则是一种典型的智力测试任务，该方法通过术语 结构的启发式枚举来猜测给定数字序列的术语结 构，最后利用数字序列评估系统来评估该方法， 最终结果精度达到 93.2%。然而，其缺点是枚举 和搜索受到一种看似合理的偏见的严格限制。 Strannegard 等 [16] 提出了 IQ 测试中数字序列预测 问题的计算方法。该计算方法是通过开发 ASolv￾er 来实现的，ASolver 是一种基于有限工作记忆思 想的拟人化认知系统，其利用了人类推理的模型。 结果表明，该算法的性能优于 Maple 和 Wolfram￾Alpha 等数学工具。Hofmann 等 [17] 证明了归纳程 序系统 IGOR2 可以解决数字序列预测问题，其不 同于上述专门用于解决数字序列域中问题的系 统，IGOR2 可以解决不同问题解决域中的问题。 IGOR2 是一个从小组输入/输出示例中学习功能 程序的系统。但不足之处在于其无法很好地处理 负数和交替序列。Ragni 等 [18-19] 提出了一种基于 人工神经网络 (ANNs) 的动态学习方法来解决数 字序列的预测问题。其总体结果与人类水平相 当，但误差分布差异很大，且无法解决 Nested 序 列问题 (见 2.1)。 上述方法都是传统的方法，它是基于已知的 数字和规则来构建模式，然后预测数字。然而， 1) 2,4,6,8,10,12,··· , 2) 1,2,3,5,4,4,2,··· , 传统数字序列逻辑学习也存在一定的不足，它很 难解决未知数字和规则的模式构建的数字序列预 测问题。例如，每月的天数序列、Nested 序列、交 替序列、带负数的序列等。举一个更为具体的例 子 ： 对于第 1 个序列，可以明显地观察到其是一个加 2 的规 律，这样就可以构建一个满足该规律的模式，传 统数字序列技术可以很容易地解决此类预测问 题。对于第 2 个序列，难以看出其中的规律，且很 难用传统方法得到一种满足此序列的模式来预测 该序列，实际上该序列是书写汉字如一二三四等 需要的笔画数，故而下一个预测结果应为 2。 针对传统数字序列逻辑学习的不足，本文提 出了图像数字序列逻辑学习任务，以从另一个角 度来解决数字序列预测问题，其可以很好地解决 传统数字序列难以解决的未知数字和规则的模式 构建的序列预测问题。在传统数字序列逻辑学习 中，数字的含义及其规则都已被事先定义。而本 文提出的图像数字序列逻辑学习是在不知道图像 间关系和图像内包含的内容的意义的前提下，仍 可以自动学习出其包含的内在逻辑模式。在本文 中，图像序列中的所有图像都是 15×85 像素的黑 白图像，且每张图像包含一个多位数。然后将图 像传递给计算机，且并不告诉计算机图像中包含 的内容是什么，让计算机自动学习图像之间的内 在逻辑模式，并且预测下一张图像中的内容。由 此看来，图像数字序列逻辑学习不仅可以解决数 字序列预测问题，更是为解决一系列未知逻辑模 式构建任务提供了一种可能。 1 研究方法 本节主要介绍了图像数字序列逻辑学习的基 本任务，并详细描述了 4 种有代表性的深度神经 网络的网络结构 (MLP、LSTM、CNN_MLP、ResNet)。 1.1 基本任务 图像数字序列逻辑学习是从另一个角度来解 决数字序列预测问题，其与传统数字序列解决方 案不同。传统数字序列技术是在已知数字和规则 的前提下构建模式。而本文的方法是在不知道图 像间关系和图像内包含的内容的意义下来预测序 列，然后利用深度神经网络来完成数字序列逻辑 学习任务，该任务的输入是几张相关的图像序 列，其输出仍然是图像，展示的是下一张图像序 列预测的结果。 ·1190· 智 能 系 统 学 报 第 14 卷