·962· 智能系统学报 第13卷 最后，为了使本文提出算法具有迁移学习能 4实验研究 力，在学习源领域径向基函数的中心向量和核宽 后，加入学习源领域模型参数p,项lp,-p,故最 4.1实验设置 终，所求解的问题可表示为 本节利用模拟数据集和在谷氨酸发酵过程中 腰f+c∑G++.pr 采集的真实数据集对本文所提算法进行实验验 证。在4.2节和4.3节分别描述模拟数据集和真 u{2 实数据集的构成及实验结果分析。为了突显本文 ,点≥0，结≥0，i=1,2,…,n 所提算法的优势，两组实验在3个场景下进行，场 (11) 景1为目标域数据集RBF神经网络算法训练；场 引入拉格朗日乘子，构造出式(11)的拉格朗 景2为源领域历史数据集和目标领域当前数据 日函数： 集RBF神经网络算法合并训练；场景3为加入源 i=f+c2++n-pf 领域历史知识的目标领域数据集s-TLRBF迁移学 习训练。 --刻+2o--s 为了有效评估算法的性能，采用如下性能指标网 24-228 (15) (12) 式中：N表示测试样本规模，y表示第i个样本的 式(12)相应的对偶问题形式为 采样输出，y表示第i个样本的径向基神经网络 输出。 2立a-aa,-gg 4.2模拟数据集实验 max- 2(1+) 在已标签数据较少而导致RBF神经网络预 入 测精度降低的前提下，验证本文所提算法可通过 (13) 学习相关历史领域知识提高预测精度。所设计的 模拟数据集符合以下两个原则：1)当前数据集和 历史数据集既存在相关性，又有自己的数据分布 s.t. 0≤，0≤C 特点；2)当前目标域数据集已标签样本较少，无 利用式(13)得到最优解： 法反映出数据集的整体分布情况。 >-a/)u+Ap. 为了表征以上两个原则，采用函数y=xsin x2o] 来表示历史场景。其中，x∈[-10,10]。按照此函 Ps= (14) (1+λ) 数生成包含100个样本的历史场景数据集(DS:)加 基于上述分析，基于ε不敏感误差准则和结构 采用函数y=r×Y+N(0,0.1)表示当前场景。其中， 风险最小的具有迁移学习能力的RBF神经网络 N(0,0.1)表示均值为0，标准差为0.1的白噪声； 学习算法步骤如下表所示： r表示当前场景与历史场景的相关系数，r值越大， 1)学习源领域径向基函数中心向量和核宽， 表示相关性越高。实验中r的取值为0.9,0.85,0.8， 确定h。值，带入式(6)，得目标领域高斯函数中心 0.75,0.7,0.6。按照目标域场景函数生成包含20个 向量ce和核宽δe 样本的目标域场景数据集(DS2)。按照y=r×Y函 2)将目标领域高斯核中心向量c:和核宽 数生成200个测试样本作为测试集。图3表示源 d带入式(1)得t; 领域历史场景函数和相关系数为0.9、0.8、0.7时 3)求解式(13)对应的二次规划问题： 的目标域场景函数，由图可知，源领域场景函数 4)利用式(13)求得的二次规划最优解，根据 和目标域场景函数既存在相关性，又存在不同， 式(14)求得隐含层和输出层之间的权值P; 且系数最小，相关性越小。 5)利用公式y=PTx求得网络层的输出。 实验在相关系数r为不同值的前提下进行。 上述算法参数设置除高斯函数核宽中的可调 因引入ε不敏感损失函数和结构风险项对噪音的 参数h外，还有式(13)需设置的3个参数，分别 影响在文献[17)]中已经进行验证，故本文算法学 是C、ε、入，确定参数的方法是网格搜索策略，5重 习源领域εRBF训练后的各参数值并验证所提算 交叉验证获得。 法的迁移学习能力。为每个，值各随机生成30组ps ps − pg 2 最后，为了使本文提出算法具有迁移学习能 力，在学习源领域径向基函数的中心向量和核宽 后，加入学习源领域模型参数 项 ，故最 终，所求解的问题可表示为 min p,ξi,ξi ∗ 1 2 pg 2 +C ∑n i=1 (ξi +ξi ∗ )+ λ 2 ps − pg 2 s.t. { yi − pg T x˜ gi < ε+ξi pg T x˜ gi −yi < ε+ξ ∗ i , ξi ⩾ 0, ξ∗ i ⩾ 0,i = 1,2,··· ,n (11) 引入拉格朗日乘子，构造出式 (11) 的拉格朗 日函数： L = 1 2 pg 2 +C ∑n i=1 (ξi +ξi ∗ )+ λ 2 ps − pg 2 + ∑n i=1 αi ( yi − pg T x˜ gi −ε−ξi ) + ∑n i=1 αi ∗ ( pg T x˜ gi −yi −ε−ξi ∗ ) − ∑n i=1 βiξi − ∑n i=1 βi ∗ ξi ∗ (12) 式 (12) 相应的对偶问题形式为 max α − ∑n i=1 ∑n j=1 (αi −αi ∗ ) ( αj −αj ∗ ) x˜ T gix˜ g j 2(1+λ) + ∑n i=1 αi ( yi −ε− λ (1+λ) ps T x˜ gi) + ∑n i=1 αi ∗ ( −yi −ε+ λ (1+λ) ps T x˜ gi) s.t. 0 ⩽ αi (∗) ⩽ C (13) 利用式 (13) 得到最优解： pg = ∑n i=1 (αi −αi ∗ ) x˜ gi +λps (1+λ) (14) 基于上述分析，基于ε不敏感误差准则和结构 风险最小的具有迁移学习能力的 RBF 神经网络 学习算法步骤如下表所示： 1) 学习源领域径向基函数中心向量和核宽， 确定 hg 值，带入式 (6)，得目标领域高斯函数中心 向量 cgi 和核宽 δgi； x˜ gi 2) 将目标领域高斯核中心向量 c g i 和核宽 δgi 带入式 (1) 得 ； 3) 求解式 (13) 对应的二次规划问题； pg 4) 利用式 (13) 求得的二次规划最优解，根据 式 (14) 求得隐含层和输出层之间的权值 ； y = pg T 5) 利用公式 x˜ g求得网络层的输出。 C ε λ 上述算法参数设置除高斯函数核宽中的可调 参数 hg 外，还有式 (13) 需设置的 3 个参数，分别 是 、 、 ，确定参数的方法是网格搜索策略，5 重 交叉验证获得。 4 实验研究 4.1 实验设置 ε-TLRBF 本节利用模拟数据集和在谷氨酸发酵过程中 采集的真实数据集对本文所提算法进行实验验 证。在 4.2 节和 4.3 节分别描述模拟数据集和真 实数据集的构成及实验结果分析。为了突显本文 所提算法的优势，两组实验在 3 个场景下进行，场 景 1 为目标域数据集 RBF 神经网络算法训练；场 景 2 为源领域历史数据集和目标领域当前数据 集 RBF 神经网络算法合并训练；场景 3 为加入源 领域历史知识的目标领域数据集 迁移学 习训练。 为了有效评估算法的性能，采用如下性能指标[18] ： J = vt 1 N ∑N i=1 (yi ′ −yi) 2 /   1 N ∑N i=1 (yi −y¯) 2   (15) yi ′ 式中：N 表示测试样本规模，yi 表示第 i 个样本的 采样输出， 表示第 i 个样本的径向基神经网络 输出。 4.2 模拟数据集实验 在已标签数据较少而导致 RBF 神经网络预 测精度降低的前提下，验证本文所提算法可通过 学习相关历史领域知识提高预测精度。所设计的 模拟数据集符合以下两个原则：1) 当前数据集和 历史数据集既存在相关性，又有自己的数据分布 特点；2) 当前目标域数据集已标签样本较少，无 法反映出数据集的整体分布情况。 Y = x sin x x ∈ [−10,10] y = r ×Y +N (0,0.1) N (0,0.1) r r r y = r ×Y 为了表征以上两个原则，采用函数 [20] 来表示历史场景。其中， 。按照此函 数生成包含 100 个样本的历史场景数据集 (DS1 )。 采用函数 表示当前场景。其中， 表示均值为 0，标准差为 0.1 的白噪声； 表示当前场景与历史场景的相关系数， 值越大， 表示相关性越高。实验中 的取值为 0.9,0.85,0.8, 0.75,0.7,0.6。按照目标域场景函数生成包含 20 个 样本的目标域场景数据集 (DS2 )。按照 函 数生成 200 个测试样本作为测试集。图 3 表示源 领域历史场景函数和相关系数为 0.9、0.8、0.7 时 的目标域场景函数，由图可知，源领域场景函数 和目标域场景函数既存在相关性，又存在不同， 且系数最小，相关性越小。 r ε ε- r 实验在相关系数 为不同值的前提下进行。 因引入 不敏感损失函数和结构风险项对噪音的 影响在文献[17]中已经进行验证，故本文算法学 习源领域 RBF 训练后的各参数值并验证所提算 法的迁移学习能力。为每个 值各随机生成 30 组 ·962· 智 能 系 统 学 报 第 13 卷