.144 智能系统学报 第12卷 迁移学习的任务是将某一领域学到的特征或信 学习方法可以依靠已经学习的类别使用少量新数据 息应用到另一个不同但相似的领域上，如文献 来有效的学习新类别。通过求解一个凸优化问题， [33]。增量学习旧类别新实例的目标是利用现有 该方法自动选择利用哪一部分旧知识传递多少信息 的特征在相同任务（需要识别的类别不变）但规模 最为有效并确保在可用训练集上达到最小误差。文 扩大的数据集上学习新的知识。 献[42]通过使用属性分类器来实现zero-shot learn- 文献[34]修改了原SVM目标函数中的损失 ing的目标。 项，使修改后的SVM可以在原模型的基础上修改分 文献[43]指出，在其之前的大多数增量学习的 类面，实现增量学习旧类别新实例：文献[35]提出 工作都专注于二分类问题，这篇文章提出了一个多类 了一个基于SVM框架增量学习的精确解，即每增加 分类的方法，在保存已学到的知识的基础上把当前的 一个训练样本或减少一个样本都会对Lagrange系 N类分类器转化为一个N+1类分类器；文献[44]提 数和支持向量产生影响，以此来调整分界面：文献 出了一种具有层级关系的增量学习模型NCMF(nea- [36]介绍了HME(hierarchical mixture of experts)框 rest class mean forest classifier)。这种方法以层级关 架，这种框架在特征空间的不同区域训练了多个分 系来组织概念，使得学习新类别时可以更新局部节点 类器，将各个分类器的输出通过一个网络进行加权 来达到增量的目的。文献[45]结合SVM算法最大分 得到最终结果，它利用线性最小二乘法(linear least 类间隔的策略和半监督学习算法低密度分隔符技术， squares)和加权线性最小二乘法(weighted linear 来增加新的分界面以此识别新类别。 least squares)通过递归来增量的更新每个数据，点的 这些增量学习方法更加关注于学习新类别，它 参数，从而实现增量式的在线学习；文献[37]每次 们对旧类别的新实例的学习效果尚未得到验证，同 从候选训练数据集中选取一部分新的信息，并把选 时有些方法在学习新数据的同时必须使用部分或全 取出的新数据添加到当前数据集中：文献[38]扩展 部原始数据，无法完全满足增量学习的4个条件。 了文献[37]的增量学习方法，通过对候选训练数据 表3增量学习算法对比分析 集进行无监督的聚类，每次选出最有信息量的一部 Table 3 Comparative analysis of incremental learning al- 分数据加入当前训练数据中：文献[39]提出了一种 gorithms 结构学习算法，它使用数据集中的一小部分作为训 旧类别 不需要 算法 新类别 实现技术 练数据来建立一个具有最优隐藏层节点数目的前馈 新实例 原始数据 网络，该方法以训练数据集中较少的一部分数据作 文献[32] D 多模型组合 为初始的训练数据，通过有效的选择训练数据，最终 文献[34] V V 调整模型参数 产生一个最少但对所有数据有效的训练集。 文献[35] V L 调整模型参数 这些增量学习方法更加关注于学习旧类别的新实 文献[36] V 多模型组合 例，它们都无法完全满足增量学习的4个条件。首先，这 文献[38] v 选取有效数据 些方法无法学习新类别的数据。其次，有些方法在增量 文献「39] V 选取有效数据 学习的同时必须使用部分或全部原始数据。 文献[40] 调整模型参数 4.4.2学习新类别的数据 文献[41] 多模型组合 与学习旧类别的新实例相比，学习新类别明显 文献[42]V 多模型组合 更加具有挑战性。 文献[431V 调整模型参数 这个任务的目标是利用现有的特征在更加复杂 文献[44] V 调整模型参数 的任务（需要识别的类别增加）并且规模扩大的数 文献[45] 调整模型参数 据集上学习新的知识。 文献[46]V 多模型组合 对迁移学习的关注使得更多的研究工作注重于 使用更少的数据来学得泛化性能更好的模型。由此 文献[471V 调整模型参数 转化到学习新类别方面的两个较为典型的研究领域 文献[48] V 调整模型参数 为：one-shot learning和zero-shot learning。文献[40] 文献[49] V 调整模型参数 提出了一种贝叶斯迁移学习方法，这种增量学习方 文献[50] 调整模型参数 法可以使用少量新数据学习到新类别。文献[41] 文献[51]V 调整模型参数 提出了一种基于多模型的知识迁移算法，这种增量迁移学习的任务是将某一领域学到的特征或信 息应用 到 另 一 个 不 同 但 相 似 的 领 域 上， 如 文 献 ［３３］。 增量学习旧类别新实例的目标是利用现有 的特征在相同任务（需要识别的类别不变） 但规模 扩大的数据集上学习新的知识。 文献［３４］ 修改了原 ＳＶＭ 目标函数中的损失 项，使修改后的 ＳＶＭ 可以在原模型的基础上修改分 类面，实现增量学习旧类别新实例；文献［３５］ 提出 了一个基于 ＳＶＭ 框架增量学习的精确解，即每增加 一个训练样本或减少一个样本都会对 Ｌａｇｒａｎｇｅ 系 数和支持向量产生影响，以此来调整分界面；文献 ［３６］介绍了 ＨＭＥ（ｈｉｅｒａｒｃｈｉｃａｌ ｍｉｘｔｕｒｅ ｏｆ ｅｘｐｅｒｔｓ）框 架， 这种框架在特征空间的不同区域训练了多个分 类器，将各个分类器的输出通过一个网络进行加权 得到最终结果，它利用线性最小二乘法（ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ） 和加权线性最小二乘法 （ ｗｅｉｇｈｔｅｄ ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ）通过递归来增量的更新每个数据点的 参数，从而实现增量式的在线学习；文献［３７］ 每次 从候选训练数据集中选取一部分新的信息，并把选 取出的新数据添加到当前数据集中；文献［３８］扩展 了文献［３７］的增量学习方法，通过对候选训练数据 集进行无监督的聚类，每次选出最有信息量的一部 分数据加入当前训练数据中；文献［３９］提出了一种 结构学习算法，它使用数据集中的一小部分作为训 练数据来建立一个具有最优隐藏层节点数目的前馈 网络，该方法以训练数据集中较少的一部分数据作 为初始的训练数据，通过有效的选择训练数据，最终 产生一个最少但对所有数据有效的训练集。 这些增量学习方法更加关注于学习旧类别的新实 例，它们都无法完全满足增量学习的４ 个条件。 首先，这 些方法无法学习新类别的数据。 其次，有些方法在增量 学习的同时必须使用部分或全部原始数据。 ４．４．２ 学习新类别的数据 与学习旧类别的新实例相比，学习新类别明显 更加具有挑战性。 这个任务的目标是利用现有的特征在更加复杂 的任务（需要识别的类别增加）并且规模扩大的数 据集上学习新的知识。 对迁移学习的关注使得更多的研究工作注重于 使用更少的数据来学得泛化性能更好的模型。 由此 转化到学习新类别方面的两个较为典型的研究领域 为：ｏｎｅ⁃ｓｈｏｔ ｌｅａｒｎｉｎｇ 和 ｚｅｒｏ⁃ｓｈｏｔ ｌｅａｒｎｉｎｇ。 文献［４０］ 提出了一种贝叶斯迁移学习方法，这种增量学习方 法可以使用少量新数据学习到新类别。 文献［４１］ 提出了一种基于多模型的知识迁移算法，这种增量 学习方法可以依靠已经学习的类别使用少量新数据 来有效的学习新类别。 通过求解一个凸优化问题， 该方法自动选择利用哪一部分旧知识传递多少信息 最为有效并确保在可用训练集上达到最小误差。 文 献［４２］通过使用属性分类器来实现 ｚｅｒｏ⁃ｓｈｏｔ ｌｅａｒｎ⁃ ｉｎｇ 的目标。 文献［４３］指出，在其之前的大多数增量学习的 工作都专注于二分类问题，这篇文章提出了一个多类 分类的方法，在保存已学到的知识的基础上把当前的 Ｎ 类分类器转化为一个 Ｎ ＋ １ 类分类器；文献［４４］提 出了一种具有层级关系的增量学习模型 ＮＣＭＦ（ｎｅａ⁃ ｒｅｓｔ ｃｌａｓｓ ｍｅａｎ ｆｏｒｅｓｔ ｃｌａｓｓｉｆｉｅｒ）。 这种方法以层级关 系来组织概念，使得学习新类别时可以更新局部节点 来达到增量的目的。 文献［４５］结合 ＳＶＭ 算法最大分 类间隔的策略和半监督学习算法低密度分隔符技术， 来增加新的分界面以此识别新类别。 这些增量学习方法更加关注于学习新类别，它 们对旧类别的新实例的学习效果尚未得到验证，同 时有些方法在学习新数据的同时必须使用部分或全 部原始数据，无法完全满足增量学习的 ４ 个条件。 表 ３ 增量学习算法对比分析 Ｔａｂｌｅ ３ Ｃｏｍｐａｒａｔｉｖｅ ａｎａｌｙｓｉｓ ｏｆ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ａｌ⁃ ｇｏｒｉｔｈｍｓ 算法 新类别 旧类别 新实例 不需要 原始数据 实现技术 文献［３２］ √ √ √ 多模型组合 文献［３４］ √ √ 调整模型参数 文献［３５］ √ √ 调整模型参数 文献［３６］ √ √ 多模型组合 文献［３８］ √ 选取有效数据 文献［３９］ √ 选取有效数据 文献［４０］ √ √ 调整模型参数 文献［４１］ √ √ 多模型组合 文献［４２］ √ √ 多模型组合 文献［４３］ √ 调整模型参数 文献［４４］ √ √ 调整模型参数 文献［４５］ √ 调整模型参数 文献［４６］ √ √ √ 多模型组合 文献［４７］ √ √ √ 调整模型参数 文献［４８］ √ √ 调整模型参数 文献［４９］ √ √ 调整模型参数 文献［５０］ √ √ 调整模型参数 文献［５１］ √ 调整模型参数 ·１４４· 智 能 系 统 学 报 第 １２ 卷