·624· 智能系统学报 第16卷 各任务的模型参数中都包含了自身不同于其他任 在相关任务中也将被赋予较高的权重，反之亦 务的特有信息。如图1所示，本文将各后件参数 然，即对应于任务i和任务j的共享参数”和 联合矩阵W分解为共享参数矩阵V和特有参数 是相似的。因此，共享参数矩阵V具有低秩性， 矩阵E,即： 本文通过引入核范数儿.来实现对共享参数矩阵 W=V+E (9) V的低秩约束VI.。特有参数矩阵E表示各项任 共享参数矩阵V包含了任务之间的共享参数信 务不同于其他任务的特有信息，这种特有信息体 息，这种共享信息是指同一个特征在不同的任务 现在某一特征在不同任务中发挥不同的作用，即 中发挥相似的作用。具体表现在，如果某个特征 特有参数矩阵E是行稀疏的，本文通过引入E2 在任务i中被赋予了一个较高的权重值，那么它 正则化项实现行稀疏。 (a e 注：(@)将后件参数矩阵W中的每个列向量w,t=1,2,…,T,分解为共享参数”，和特有参数e,两个分量；b)调整各向量顺序 图1后件参数矩阵W=(w1,w2,…,wr)可以拆分为低秩部分V=(y1,2,…,r)和稀疏部分E=(e1,e2,…,er) Fig.1 The consequent parameter matrix W=(wi,w2,,Wr)can be decomposed into the low-rank component V=(wi,y2,…,'r）and the sparse component E=(e1,e2,…,er) 所以，通过对后件参数联合矩阵的分解，再分 别施加低秩和行稀疏约束，在多任务建模中兼顾 ∑，-,+aIL+ 多任务之间共享信息和特有信息的作用，提出了 E:+W-vE+ (12) 任务间共享和特有结构划分的多任务TSK模糊 系统的目标函数，表示如下： 这是一个包含W、V、E、Y4个优化变量的 最优化问题，所以本文交替使用其他变量的固定 m∑I,-,wG+alVL.+BEl2 值迭代优化每个变量，原问题被转化为下面若干 s.t.W=V+E 个子问题： (10) 式中：α和B是正则化参数，用于调节共享参数和 1)固定V、E、Y,式(12)化为如下目标函数： 特有参数在模型训练中发挥的作用，参数越大， 1y-重，w,+ 惩罚力度越大。 衣之 =1 3目标函数优化 2W-V-E+ (13) 对，求导，并令其等于0，整理之后，可以通 本文使用增广拉格朗日乘子法0求解式(10) 过式(14)获得w,的解： 提出的最优化问题，其增广拉格朗日目标函数为 w=(l+2(电，)电) 盟∑-重w,后+aL+ [2(,)y,+μ(y,+e,-y,l] (14) 因此，可以进一步得到W的解： AE+<Y.W-V-E>+lW-V-E (11) W=(w1,w2,…,wr) (15) 式中：YeR0xr是拉格朗日乘子矩阵，〈，〉表示 2)固定W、E、Y,式(12)转化为目标函数： 两个矩阵的内积运算。为便于计算，使用 LADMAP方法P四将目标函数重新表示为 minoIVL+.w-V-E+兰E (16)W V E 各任务的模型参数中都包含了自身不同于其他任 务的特有信息。如图 1 所示，本文将各后件参数 联合矩阵 分解为共享参数矩阵 和特有参数 矩阵 ，即： W = V + E (9) V i 共享参数矩阵 包含了任务之间的共享参数信 息，这种共享信息是指同一个特征在不同的任务 中发挥相似的作用。具体表现在，如果某个特征 在任务 中被赋予了一个较高的权重值，那么它 j i j vi vj V || · ||∗ V ||V||∗ E E ||E||1,2 在相关任务 中也将被赋予较高的权重，反之亦 然，即对应于任务 和任务 的共享参数 和 是相似的。因此，共享参数矩阵 具有低秩性， 本文通过引入核范数 来实现对共享参数矩阵 的低秩约束 。特有参数矩阵 表示各项任 务不同于其他任务的特有信息，这种特有信息体 现在某一特征在不同任务中发挥不同的作用，即 特有参数矩阵 是行稀疏的，本文通过引入 正则化项实现行稀疏。 (a) (b) … … … … … … … … … … … … … … … … … … … … … w1 w2 wT e1 v1 e2 v2 eT vT v1 v2 vT e1 e2 eT W wt 注： (a) 将后件参数矩阵 中的每个列向量 , t = 1,2,··· ,T, 分解为共享参数 vt 和特有参数 et 两个分量；(b) 调整各向量顺序 图 1 后件参数矩阵 W = (w1,w2,··· ,wT ) 可以拆分为低秩部分 V = (v1, v2,··· , vT ) 和稀疏部分 E = (e1, e2,··· , eT ) W = (w1,w2,··· ,wT ) V = (v1, v2,··· , vT ) E = (e1, e2,··· , eT ) Fig. 1 The consequent parameter matrix can be decomposed into the low-rank component and the sparse component 所以，通过对后件参数联合矩阵的分解，再分 别施加低秩和行稀疏约束，在多任务建模中兼顾 多任务之间共享信息和特有信息的作用，提出了 任务间共享和特有结构划分的多任务 TSK 模糊 系统的目标函数，表示如下： min W ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗ +β||E||1,2 s.t.W = V + E (10) 式中：α 和 β 是正则化参数，用于调节共享参数和 特有参数在模型训练中发挥的作用，参数越大， 惩罚力度越大。 3 目标函数优化 本文使用增广拉格朗日乘子法[19-20] 求解式 (10) 提出的最优化问题，其增广拉格朗日目标函数为 min W,V,E,Y ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗+ β||E||1,2+ < Y,W −V − E > + µ 2 ||W −V − E||2 2 (11) Y ∈ R (D+1)×T 式中： 是拉格朗日乘子矩阵， ⟨·,·⟩ 表示 两个矩阵的内积运算。为便于计算，使 用 LADMAP 方法[21] 将目标函数重新表示为 min W,V,E,Y ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗+ β||E||1,2 + µ 2 ||W −V − E+ Y µ ||2 2 (12) 这是一个包含 W 、V 、E、Y 4 个优化变量的 最优化问题，所以本文交替使用其他变量的固定 值迭代优化每个变量，原问题被转化为下面若干 个子问题： 1) 固定 V、E、Y，式 (12) 化为如下目标函数： min W,V,E 1 N ∑T t=1 ||yt −Φtwt ||2 2+ µ 2 ||W −V − E+ Y µ ||2 2 (13) wt 0 wt 对 求导，并令其等于 ，整理之后，可以通 过式 (14) 获得 的解： wt = ( µI+2(Φt) TΦt )−1 · [2(Φt) T yt +µ(vt +et − yt/µ)] (14) 因此，可以进一步得到 W 的解： W = (w1,w2,··· ,wT ) (15) 2) 固定 W、E、Y，式 (12) 转化为目标函数： min V α||V||∗ + µ 2 ||W −V − E+ Y µ ||2 2 (16) ·624· 智 能 系 统 学 报 第 16 卷