第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·623· 建依靠专家经验。近年来，数据驱动的模糊规则 M表示模糊规则数，A表示合取操作。本文选择 构建方法受到了充分的研究。通常可以划分为两 式(2)的Gaussian函数作为模糊隶属度函数。 个步骤：一是使用某种划分规则将训练数据分为 (-cm2 若干子体来提取规则前件参数，在实际建模中， a(）=exp 2m,d (2) 通常使用聚类来实现；二是学习优化后件参数， 从机器学习的角度，可以视为一个线性回归问题"。 22e TSK模糊系统建模是重要的有监督学习的过 (3) 程，因此需要充分的训练数据。然而，在很多实 钢 际应用中，样本数据经常是有限的高维数据，这 就不可避免导致了模型的过拟合问题。而多任务 (4) 学习可以从其他任务中获取相关信息，一定程度 弥补训练数据不足的问题，进而提高模型的学习 式中md和σmd分别表示均值与方差。本文使用 性能。在多任务建模中，任务之间往往具有 FCM聚类方法进行模糊划分，获得样本的模糊隶 明显的相关性，并存在着共享信息，因此充分利 属度，其中表示任务1所属的第i个样本对于第 用多个任务间的共享信息进行多任务模糊系统建 m个聚类的模糊隶属度。式(4)中，h是可调节参数。 模，有助于提高每个任务的泛化性能。例如，Jiang 定义(x,)表示任务t中的第i个样本和其对 等劉提出了一种利用潜在任务间关系信息的多 任务模糊系统，该方法为多个任务学习了一个共 应的标签，i=1,2,…,,t=1,2,…,T,X,= 享的后件参数来表示任务间的共享信息。然而， 这些方法都只着重于任务间后件参数的共享结 x 构，而忽视了如何利用各任务的自身特点。 RxD,y,=y1y2,…N]I∈R心。对于任务1，其模 鉴于此，本文提出了一种新型多任务TSK 糊系统的输出可以表示为 可=中，w, (5) 模糊系统建模方法，在挖掘多任务间共享信息的 式中：=(，，…，)称为模糊系统的字典，= 同时，保留单个任务的特殊性。该方法将多任务 diag(p(x.),p(x2）,…,p(w》-(L,X)eRxD,y,= 的后件参数矩阵分解为共享参数矩阵和特有参数 [D,y2,…,x'∈R心，p"(x)表示输人xu对于第 矩阵两个部分：共享参数矩阵表示了任务之间共 m条模糊规则的触发强度，可由式(6)获得。w,= 享的结构信息，而特有参数矩阵保留了每个任务 (（wF,w),…,(w)门eRo+w是任务1的后件参 的不同于其他任务的差异信息。本文通过为共享 数向量：w"是对应于的后件参数向量。 参数矩阵和特有参数矩阵分别引入低秩和稀疏约 (x,) 束来实现这一目标。 p"(x)= (6) (x) 1多任务TSK模糊模型的基本原理 k=1 D 经典的单任务TSK模糊系统利用多个局部 "(x)= (7) 线性子模型来近似非线性模型。而多任务模糊系 为方便计算，本文为多任务TSK模糊模型进 统就是多个单任务模糊系统的联合优化。在多任 一步定义W=(w1,w2,…,wr)∈RID+DMXT,表示多任 务设置中，T、N=∑N,和D分别表示任务、样本 务模糊模型的后件参数联合矩阵。所以，基本多 和特征的数量，其中N,表示任务t的样本数量。 任务模糊系统的目标函数可以表示为 对于任意输入向量x,=(x,,…,x)T∈RP,其表示 min∑by,-,w,lG+R(W (8) W 任务t的一个样本的特征向量，其中，d=1,2,…,D 是向量x,的第d变量。 2任务间共享和特有结构分解的多 因此，任务t的第m个规则可以表示为： 任务TSK模糊系统建模新方法 Fx is Ax is Am2∧…Ax is AD, THEN f(x,)=w0+w"x+ 本节在基本多任务模糊系统的基础上，进一 w2x+…+wDx (1) 步提出新型多任务模糊系统建模方法。考虑到多 式中：A表示输人变量对应于任务1的第 任务之间是相互关联的，因此可以认为多个任务 m个规则的模糊子集，m=1,2,…,M,d=1,2,…,D, 的模型参数包含着潜在的共享信息；另一方面，建依靠专家经验。近年来，数据驱动的模糊规则 构建方法受到了充分的研究。通常可以划分为两 个步骤：一是使用某种划分规则将训练数据分为 若干子体来提取规则前件参数，在实际建模中， 通常使用聚类来实现；二是学习优化后件参数， 从机器学习的角度，可以视为一个线性回归问题[8-11]。 TSK 模糊系统建模是重要的有监督学习的过 程，因此需要充分的训练数据。然而，在很多实 际应用中，样本数据经常是有限的高维数据，这 就不可避免导致了模型的过拟合问题。而多任务 学习可以从其他任务中获取相关信息，一定程度 弥补训练数据不足的问题，进而提高模型的学习 性能[12-17]。在多任务建模中，任务之间往往具有 明显的相关性，并存在着共享信息，因此充分利 用多个任务间的共享信息进行多任务模糊系统建 模，有助于提高每个任务的泛化性能。例如，Jiang 等 [18] 提出了一种利用潜在任务间关系信息的多 任务模糊系统，该方法为多个任务学习了一个共 享的后件参数来表示任务间的共享信息。然而， 这些方法都只着重于任务间后件参数的共享结 构，而忽视了如何利用各任务的自身特点。 鉴于此，本文提出了一种新型多任务 TSK 模糊系统建模方法，在挖掘多任务间共享信息的 同时，保留单个任务的特殊性。该方法将多任务 的后件参数矩阵分解为共享参数矩阵和特有参数 矩阵两个部分：共享参数矩阵表示了任务之间共 享的结构信息，而特有参数矩阵保留了每个任务 的不同于其他任务的差异信息。本文通过为共享 参数矩阵和特有参数矩阵分别引入低秩和稀疏约 束来实现这一目标。 1 多任务 TSK 模糊模型的基本原理 T N = ∑T t=1 Nt D Nt t xt = (x 1 t , x 2 t ,··· , x D t ) T ∈ R D t x d t d = 1,2,··· ,D xt d 经典的单任务 TSK 模糊系统利用多个局部 线性子模型来近似非线性模型。而多任务模糊系 统就是多个单任务模糊系统的联合优化。在多任 务设置中， 、 和 分别表示任务、样本 和特征的数量，其中 表示任务 的样本数量。 对于任意输入向量 ，其表示 任务 的一个样本的特征向量，其中 , 是向量 的第 变量。 因此，任务 t 的第 m 个规则可以表示为： IF x 1 t is A m,1 t ∧ x 2 t is A m,2 t ∧ ··· ∧ x D t is A m,D t , THEN f m t (xt) = w m,0 t +w m,1 t x 1 t + w m,2 t x 2 t +···+w m,D t x D t (1) A m,d t x d t m = 1,2,··· , M d = 1,2,··· ,D 式中： 表示输入变量 对应于任务 t 的第 m 个规则的模糊子集， , ， M 表示模糊规则数， ∧ 表示合取操作。本文选择 式 (2) 的 Gaussian 函数作为模糊隶属度函数。 µA m,d t ( x d t ) = exp  − ( x d t −c m,d )2 2σm,d   (2) c m,d = ∑T t=1 ∑Nt i=1 µ m t,i x d t,i ∑T t=1 ∑Nt i=1 µ m t,i (3) σ m,d = h ∑T t=1 ∑Nt i=1 µ m t,i ( x d t,i −c m,d ) ·   ∑T t=1 ∑Nt i=1 µ m t,i   −1 (4) c m,d σ m,d µ m t,i t i m h 式中 和 分别表示均值与方差。本文使用 FCM 聚类方法进行模糊划分，获得样本的模糊隶 属度，其中 表示任务 所属的第 个样本对于第 个聚类的模糊隶属度。式 (4) 中， 是可调节参数。 ( xt,i , yt,i ) t i i = 1,2,··· ,Nt t = 1,2,··· ,T Xt =   x T t,1 x T t,2 . . . x T t,Nt   ∈ R Nt×D yt = [yt,1, yt,2,··· , yt,Nt ] T ∈ R Nt t 定义 表示任务 中的第 个样本和其对 应的标签， ， ， ， 。对于任务 ，其模 糊系统的输出可以表示为 byt = Φtwt (5) Φt = ( Φ1 t ,Φ2 t ,··· ,ΦM t ) Φm t = diag( φ m ( xt,1 ) ,φm ( xt,2 ) ,··· ,φm ( xt,Nt ))·(1,Xt) ∈ R Nt×D yt = [yt,1, yt,2,··· , yt,Nt ] T ∈ R Nt φ m ( xt,i ) xt,i m wt = (( w 1 t )T , ( w 2 t )T ,··· , ( w M t )T )T ∈ R (D+1)M t w m t Φm t 式中： 称为模糊系统的字典， ， ， 表示输入 对于第 条模糊规则的触发强度，可由式 (6) 获得。 是任务 的后件参 数向量； 是对应于 的后件参数向量。 φ m (xt) = µ m (xt) ∑M k=1 µ k (xt) (6) µ m (xt) = ∏D d=1 µA m,d t ( x d t ) (7) W = (w1,w2,··· ,wT ) ∈ R (D+1)M×T 为方便计算，本文为多任务 TSK 模糊模型进 一步定义 ，表示多任 务模糊模型的后件参数联合矩阵。所以，基本多 任务模糊系统的目标函数可以表示为 min W ∑T t=1 ||yt −Φtwt ||2 2 +R(W) (8) 2 任务间共享和特有结构分解的多 任务 TSK 模糊系统建模新方法 本节在基本多任务模糊系统的基础上，进一 步提出新型多任务模糊系统建模方法。考虑到多 任务之间是相互关联的，因此可以认为多个任务 的模型参数包含着潜在的共享信息；另一方面， 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·623·