第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202007009 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20210408.1021.002.html 任务间共享和特有结构分解的 多任务TSK模糊系统建模 赵壮壮，王骏2，潘祥，邓赵红，施俊2，王士同 (1.江南大学人工智能与计算机学院，江苏无锡214122,2.上海大学道信与信息工程学院，上海200444) 摘要：现有的多任务Takagi--Sugeno-Kang(TSK)模糊建模方法更注重利用任务间的相关性信息，而忽略了单 个任务的特殊性。针对此问题，本文提出了一种考虑所有任务之间的共享结构和特有结构的T$K模糊系统多 任务建模新方法。该方法将后件参数分解为共享参数和特有参数两个分量，既充分利用了任务间共享信息，又 有效地保留了单个任务的特性。最后，本文利用增广拉格朗日乘子法(AL)求解该最优化问题。实验结果表 明，该方法比现有的模型获得了更好的表现。 关键词：T$K模糊系统：非线性；多任务；低秩；稀疏；参数分解；泛化性能：可解释性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2021)04-0622-08 中文引用格式：赵壮壮，王骏，潘祥，等.任务间共享和特有结构分解的多任务TSK模糊系统建模.智能系统学报，2021， 16(4):622-629. 英文引用格式：ZHAO Zhuangzhuang,WANGJun,.PAN Xiang,et al.Multi--task TSK fuzzy system modeling based on inter-task common and special structure decomposition[J].CAAI transactions on intelligent systems,2021,16(4):622-629 Multi-task TSK fuzzy system modeling based on inter-task common and special structure decomposition ZHAO Zhuangzhuang',WANG Jun',PAN Xiang',DENG Zhaohong',SHI Jun',WANG Shitong (1.School of Artificial Intelligence and Computer Science,Jiangnan University,Wuxi 214122,China,2.School of Communication Information Engineering,Shanghai University,Shanghai 200444,China) Abstract:Existing Takagi-Sugeno-Kang(TSK)fuzzy system modeling methods pay more attention to the inter-task correlation but ignore the particularity of every single task.To address this issue,this paper proposes a novel multi-task modeling method for TSK fuzzy systems taking common and specific structures across all tasks(MTTSKFS-CS)into consideration.This method decomposes consequent parameters into shared and special ones,which not only takes ad- vantage of the shared information among tasks but also effectively preserves the characteristics of individual tasks.Fi- nally,the study uses the augmented Lagrange multiplier for optimization.The experimental results demonstrate the bet- ter performance of the proposed model compared with other existing methods. Keywords:TSK fuzzy system;nonlinear;multitask;low-rank;sparse;parameter decomposition;generalization per- formance;interpretability 模糊逻辑和模糊推理被用来描述知识和表达 模糊系统能够更准确地描述和估计现实中不确定 的不确定性。而模糊系统就是由模糊逻辑和模糊 的复杂非线性系统模型。近年来，学者们提出 推理发展而来的。相比于传统的机器学习模型， 了众多的模糊系统建模方法，其中TSK模糊系统 因其能够将非线性系统转化为多个局部线性结构 收稿日期：2020-07-06.网络出版日期：2021-04-08. 基金项目：江苏省自然科学基金项目(BK20181339):国家自然 的逼近，而成为最受欢迎的模型之一B刀。 科学基金项目(61602007)：中央高校基础研究经费 TSK模糊系统由若干条模糊规则构成，每条 资助项目(USRP1185I). 通信作者：王骏.E-mail:wangjun_shu@shu.edu.cn 模糊规则由前件和后件组成。传统的模糊规则构
DOI: 10.11992/tis.202007009 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210408.1021.002.html 任务间共享和特有结构分解的 多任务 TSK 模糊系统建模 赵壮壮1 ，王骏2 ，潘祥1 ，邓赵红1 ，施俊2 ，王士同1 （1. 江南大学 人工智能与计算机学院，江苏 无锡 214122; 2. 上海大学 通信与信息工程学院，上海 200444） 摘 要：现有的多任务 Takagi-Sugeno-Kang (TSK) 模糊建模方法更注重利用任务间的相关性信息，而忽略了单 个任务的特殊性。针对此问题，本文提出了一种考虑所有任务之间的共享结构和特有结构的 TSK 模糊系统多 任务建模新方法。该方法将后件参数分解为共享参数和特有参数两个分量，既充分利用了任务间共享信息，又 有效地保留了单个任务的特性。最后，本文利用增广拉格朗日乘子法 (ALM) 求解该最优化问题。实验结果表 明，该方法比现有的模型获得了更好的表现。 关键词：TSK 模糊系统；非线性；多任务；低秩；稀疏；参数分解；泛化性能；可解释性 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2021)04−0622−08 中文引用格式：赵壮壮, 王骏, 潘祥, 等. 任务间共享和特有结构分解的多任务 TSK 模糊系统建模 [J]. 智能系统学报, 2021, 16(4): 622–629. 英文引用格式：ZHAO Zhuangzhuang, WANG Jun, PAN Xiang, et al. Multi-task TSK fuzzy system modeling based on inter-task common and special structure decomposition[J]. CAAI transactions on intelligent systems, 2021, 16(4): 622–629. Multi-task TSK fuzzy system modeling based on inter-task common and special structure decomposition ZHAO Zhuangzhuang1 ，WANG Jun2 ，PAN Xiang1 ，DENG Zhaohong1 ，SHI Jun2 ，WANG Shitong1 (1. School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi 214122, China; 2. School of Communication & Information Engineering, Shanghai University, Shanghai 200444, China) Abstract: Existing Takagi–Sugeno–Kang (TSK) fuzzy system modeling methods pay more attention to the inter-task correlation but ignore the particularity of every single task. To address this issue, this paper proposes a novel multi-task modeling method for TSK fuzzy systems taking common and specific structures across all tasks (MTTSKFS-CS) into consideration. This method decomposes consequent parameters into shared and special ones, which not only takes advantage of the shared information among tasks but also effectively preserves the characteristics of individual tasks. Finally, the study uses the augmented Lagrange multiplier for optimization. The experimental results demonstrate the better performance of the proposed model compared with other existing methods. Keywords: TSK fuzzy system; nonlinear; multitask; low-rank; sparse; parameter decomposition; generalization performance; interpretability 模糊逻辑和模糊推理被用来描述知识和表达 的不确定性。而模糊系统就是由模糊逻辑和模糊 推理发展而来的。相比于传统的机器学习模型， 模糊系统能够更准确地描述和估计现实中不确定 的复杂非线性系统模型[1-4]。近年来，学者们提出 了众多的模糊系统建模方法，其中 TSK 模糊系统 因其能够将非线性系统转化为多个局部线性结构 的逼近，而成为最受欢迎的模型之一[5-7]。 TSK 模糊系统由若干条模糊规则构成，每条 模糊规则由前件和后件组成。传统的模糊规则构 收稿日期：2020−07−06. 网络出版日期：2021−04−08. 基金项目：江苏省自然科学基金项目 (BK20181339)；国家自然 科学基金项目 (61602007)；中央高校基础研究经费 资助项目 (JUSRP11851). 通信作者：王骏. E-mail：wangjun_shu@shu.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·623· 建依靠专家经验。近年来，数据驱动的模糊规则 M表示模糊规则数，A表示合取操作。本文选择 构建方法受到了充分的研究。通常可以划分为两 式(2)的Gaussian函数作为模糊隶属度函数。 个步骤：一是使用某种划分规则将训练数据分为 (-cm2 若干子体来提取规则前件参数，在实际建模中， a(）=exp 2m,d (2) 通常使用聚类来实现；二是学习优化后件参数， 从机器学习的角度，可以视为一个线性回归问题"。 22e TSK模糊系统建模是重要的有监督学习的过 (3) 程，因此需要充分的训练数据。然而，在很多实 钢 际应用中，样本数据经常是有限的高维数据，这 就不可避免导致了模型的过拟合问题。而多任务 (4) 学习可以从其他任务中获取相关信息，一定程度 弥补训练数据不足的问题，进而提高模型的学习 式中md和σmd分别表示均值与方差。本文使用 性能。在多任务建模中，任务之间往往具有 FCM聚类方法进行模糊划分，获得样本的模糊隶 明显的相关性，并存在着共享信息，因此充分利 属度，其中表示任务1所属的第i个样本对于第 用多个任务间的共享信息进行多任务模糊系统建 m个聚类的模糊隶属度。式(4)中，h是可调节参数。 模，有助于提高每个任务的泛化性能。例如，Jiang 定义(x,)表示任务t中的第i个样本和其对 等劉提出了一种利用潜在任务间关系信息的多 任务模糊系统，该方法为多个任务学习了一个共 应的标签，i=1,2,…,,t=1,2,…,T,X,= 享的后件参数来表示任务间的共享信息。然而， 这些方法都只着重于任务间后件参数的共享结 x 构，而忽视了如何利用各任务的自身特点。 RxD,y,=y1y2,…N]I∈R心。对于任务1，其模 鉴于此，本文提出了一种新型多任务TSK 糊系统的输出可以表示为 可=中，w, (5) 模糊系统建模方法，在挖掘多任务间共享信息的 式中：=(，，…，)称为模糊系统的字典，= 同时，保留单个任务的特殊性。该方法将多任务 diag(p(x.),p(x2）,…,p(w》-(L,X)eRxD,y,= 的后件参数矩阵分解为共享参数矩阵和特有参数 [D,y2,…,x'∈R心，p"(x)表示输人xu对于第 矩阵两个部分：共享参数矩阵表示了任务之间共 m条模糊规则的触发强度，可由式(6)获得。w,= 享的结构信息，而特有参数矩阵保留了每个任务 (（wF,w),…,(w)门eRo+w是任务1的后件参 的不同于其他任务的差异信息。本文通过为共享 数向量：w"是对应于的后件参数向量。 参数矩阵和特有参数矩阵分别引入低秩和稀疏约 (x,) 束来实现这一目标。 p"(x)= (6) (x) 1多任务TSK模糊模型的基本原理 k=1 D 经典的单任务TSK模糊系统利用多个局部 "(x)= (7) 线性子模型来近似非线性模型。而多任务模糊系 为方便计算，本文为多任务TSK模糊模型进 统就是多个单任务模糊系统的联合优化。在多任 一步定义W=(w1,w2,…,wr)∈RID+DMXT,表示多任 务设置中，T、N=∑N,和D分别表示任务、样本 务模糊模型的后件参数联合矩阵。所以，基本多 和特征的数量，其中N,表示任务t的样本数量。 任务模糊系统的目标函数可以表示为 对于任意输入向量x,=(x,,…,x)T∈RP,其表示 min∑by,-,w,lG+R(W (8) W 任务t的一个样本的特征向量，其中，d=1,2,…,D 是向量x,的第d变量。 2任务间共享和特有结构分解的多 因此，任务t的第m个规则可以表示为： 任务TSK模糊系统建模新方法 Fx is Ax is Am2∧…Ax is AD, THEN f(x,)=w0+w"x+ 本节在基本多任务模糊系统的基础上，进一 w2x+…+wDx (1) 步提出新型多任务模糊系统建模方法。考虑到多 式中：A表示输人变量对应于任务1的第 任务之间是相互关联的，因此可以认为多个任务 m个规则的模糊子集，m=1,2,…,M,d=1,2,…,D, 的模型参数包含着潜在的共享信息；另一方面
建依靠专家经验。近年来，数据驱动的模糊规则 构建方法受到了充分的研究。通常可以划分为两 个步骤：一是使用某种划分规则将训练数据分为 若干子体来提取规则前件参数，在实际建模中， 通常使用聚类来实现；二是学习优化后件参数， 从机器学习的角度，可以视为一个线性回归问题[8-11]。 TSK 模糊系统建模是重要的有监督学习的过 程，因此需要充分的训练数据。然而，在很多实 际应用中，样本数据经常是有限的高维数据，这 就不可避免导致了模型的过拟合问题。而多任务 学习可以从其他任务中获取相关信息，一定程度 弥补训练数据不足的问题，进而提高模型的学习 性能[12-17]。在多任务建模中，任务之间往往具有 明显的相关性，并存在着共享信息，因此充分利 用多个任务间的共享信息进行多任务模糊系统建 模，有助于提高每个任务的泛化性能。例如，Jiang 等 [18] 提出了一种利用潜在任务间关系信息的多 任务模糊系统，该方法为多个任务学习了一个共 享的后件参数来表示任务间的共享信息。然而， 这些方法都只着重于任务间后件参数的共享结 构，而忽视了如何利用各任务的自身特点。 鉴于此，本文提出了一种新型多任务 TSK 模糊系统建模方法，在挖掘多任务间共享信息的 同时，保留单个任务的特殊性。该方法将多任务 的后件参数矩阵分解为共享参数矩阵和特有参数 矩阵两个部分：共享参数矩阵表示了任务之间共 享的结构信息，而特有参数矩阵保留了每个任务 的不同于其他任务的差异信息。本文通过为共享 参数矩阵和特有参数矩阵分别引入低秩和稀疏约 束来实现这一目标。 1 多任务 TSK 模糊模型的基本原理 T N = ∑T t=1 Nt D Nt t xt = (x 1 t , x 2 t ,··· , x D t ) T ∈ R D t x d t d = 1,2,··· ,D xt d 经典的单任务 TSK 模糊系统利用多个局部 线性子模型来近似非线性模型。而多任务模糊系 统就是多个单任务模糊系统的联合优化。在多任 务设置中， 、 和 分别表示任务、样本 和特征的数量，其中 表示任务 的样本数量。 对于任意输入向量 ，其表示 任务 的一个样本的特征向量，其中 , 是向量 的第 变量。 因此，任务 t 的第 m 个规则可以表示为： IF x 1 t is A m,1 t ∧ x 2 t is A m,2 t ∧ ··· ∧ x D t is A m,D t , THEN f m t (xt) = w m,0 t +w m,1 t x 1 t + w m,2 t x 2 t +···+w m,D t x D t (1) A m,d t x d t m = 1,2,··· , M d = 1,2,··· ,D 式中： 表示输入变量 对应于任务 t 的第 m 个规则的模糊子集， , ， M 表示模糊规则数， ∧ 表示合取操作。本文选择 式 (2) 的 Gaussian 函数作为模糊隶属度函数。 µA m,d t ( x d t ) = exp − ( x d t −c m,d )2 2σm,d (2) c m,d = ∑T t=1 ∑Nt i=1 µ m t,i x d t,i ∑T t=1 ∑Nt i=1 µ m t,i (3) σ m,d = h ∑T t=1 ∑Nt i=1 µ m t,i ( x d t,i −c m,d ) · ∑T t=1 ∑Nt i=1 µ m t,i −1 (4) c m,d σ m,d µ m t,i t i m h 式中 和 分别表示均值与方差。本文使用 FCM 聚类方法进行模糊划分，获得样本的模糊隶 属度，其中 表示任务 所属的第 个样本对于第 个聚类的模糊隶属度。式 (4) 中， 是可调节参数。 ( xt,i , yt,i ) t i i = 1,2,··· ,Nt t = 1,2,··· ,T Xt = x T t,1 x T t,2 . . . x T t,Nt ∈ R Nt×D yt = [yt,1, yt,2,··· , yt,Nt ] T ∈ R Nt t 定义 表示任务 中的第 个样本和其对 应的标签， ， ， ， 。对于任务 ，其模 糊系统的输出可以表示为 byt = Φtwt (5) Φt = ( Φ1 t ,Φ2 t ,··· ,ΦM t ) Φm t = diag( φ m ( xt,1 ) ,φm ( xt,2 ) ,··· ,φm ( xt,Nt ))·(1,Xt) ∈ R Nt×D yt = [yt,1, yt,2,··· , yt,Nt ] T ∈ R Nt φ m ( xt,i ) xt,i m wt = (( w 1 t )T , ( w 2 t )T ,··· , ( w M t )T )T ∈ R (D+1)M t w m t Φm t 式中： 称为模糊系统的字典， ， ， 表示输入 对于第 条模糊规则的触发强度，可由式 (6) 获得。 是任务 的后件参 数向量； 是对应于 的后件参数向量。 φ m (xt) = µ m (xt) ∑M k=1 µ k (xt) (6) µ m (xt) = ∏D d=1 µA m,d t ( x d t ) (7) W = (w1,w2,··· ,wT ) ∈ R (D+1)M×T 为方便计算，本文为多任务 TSK 模糊模型进 一步定义 ，表示多任 务模糊模型的后件参数联合矩阵。所以，基本多 任务模糊系统的目标函数可以表示为 min W ∑T t=1 ||yt −Φtwt ||2 2 +R(W) (8) 2 任务间共享和特有结构分解的多 任务 TSK 模糊系统建模新方法 本节在基本多任务模糊系统的基础上，进一 步提出新型多任务模糊系统建模方法。考虑到多 任务之间是相互关联的，因此可以认为多个任务 的模型参数包含着潜在的共享信息；另一方面， 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·623·
·624· 智能系统学报 第16卷 各任务的模型参数中都包含了自身不同于其他任 在相关任务中也将被赋予较高的权重，反之亦 务的特有信息。如图1所示，本文将各后件参数 然，即对应于任务i和任务j的共享参数”和 联合矩阵W分解为共享参数矩阵V和特有参数 是相似的。因此，共享参数矩阵V具有低秩性， 矩阵E,即： 本文通过引入核范数儿.来实现对共享参数矩阵 W=V+E (9) V的低秩约束VI.。特有参数矩阵E表示各项任 共享参数矩阵V包含了任务之间的共享参数信 务不同于其他任务的特有信息，这种特有信息体 息，这种共享信息是指同一个特征在不同的任务 现在某一特征在不同任务中发挥不同的作用，即 中发挥相似的作用。具体表现在，如果某个特征 特有参数矩阵E是行稀疏的，本文通过引入E2 在任务i中被赋予了一个较高的权重值，那么它 正则化项实现行稀疏。 (a e 注：(@)将后件参数矩阵W中的每个列向量w,t=1,2,…,T,分解为共享参数”，和特有参数e,两个分量；b)调整各向量顺序 图1后件参数矩阵W=(w1,w2,…,wr)可以拆分为低秩部分V=(y1,2,…,r)和稀疏部分E=(e1,e2,…,er) Fig.1 The consequent parameter matrix W=(wi,w2,,Wr)can be decomposed into the low-rank component V=(wi,y2,…,'r）and the sparse component E=(e1,e2,…,er) 所以，通过对后件参数联合矩阵的分解，再分 别施加低秩和行稀疏约束，在多任务建模中兼顾 ∑，-,+aIL+ 多任务之间共享信息和特有信息的作用，提出了 E:+W-vE+ (12) 任务间共享和特有结构划分的多任务TSK模糊 系统的目标函数，表示如下： 这是一个包含W、V、E、Y4个优化变量的 最优化问题，所以本文交替使用其他变量的固定 m∑I,-,wG+alVL.+BEl2 值迭代优化每个变量，原问题被转化为下面若干 s.t.W=V+E 个子问题： (10) 式中：α和B是正则化参数，用于调节共享参数和 1)固定V、E、Y,式(12)化为如下目标函数： 特有参数在模型训练中发挥的作用，参数越大， 1y-重，w,+ 惩罚力度越大。 衣之 =1 3目标函数优化 2W-V-E+ (13) 对，求导，并令其等于0，整理之后，可以通 本文使用增广拉格朗日乘子法0求解式(10) 过式(14)获得w,的解： 提出的最优化问题，其增广拉格朗日目标函数为 w=(l+2(电，)电) 盟∑-重w,后+aL+ [2(,)y,+μ(y,+e,-y,l] (14) 因此，可以进一步得到W的解： AE++lW-V-E (11) W=(w1,w2,…,wr) (15) 式中：YeR0xr是拉格朗日乘子矩阵，〈，〉表示 2)固定W、E、Y,式(12)转化为目标函数： 两个矩阵的内积运算。为便于计算，使用 LADMAP方法P四将目标函数重新表示为 minoIVL+.w-V-E+兰E (16)
W V E 各任务的模型参数中都包含了自身不同于其他任 务的特有信息。如图 1 所示，本文将各后件参数 联合矩阵 分解为共享参数矩阵 和特有参数 矩阵 ，即： W = V + E (9) V i 共享参数矩阵 包含了任务之间的共享参数信 息，这种共享信息是指同一个特征在不同的任务 中发挥相似的作用。具体表现在，如果某个特征 在任务 中被赋予了一个较高的权重值，那么它 j i j vi vj V || · ||∗ V ||V||∗ E E ||E||1,2 在相关任务 中也将被赋予较高的权重，反之亦 然，即对应于任务 和任务 的共享参数 和 是相似的。因此，共享参数矩阵 具有低秩性， 本文通过引入核范数 来实现对共享参数矩阵 的低秩约束 。特有参数矩阵 表示各项任 务不同于其他任务的特有信息，这种特有信息体 现在某一特征在不同任务中发挥不同的作用，即 特有参数矩阵 是行稀疏的，本文通过引入 正则化项实现行稀疏。 (a) (b) … … … … … … … … … … … … … … … … … … … … … w1 w2 wT e1 v1 e2 v2 eT vT v1 v2 vT e1 e2 eT W wt 注： (a) 将后件参数矩阵 中的每个列向量 , t = 1,2,··· ,T, 分解为共享参数 vt 和特有参数 et 两个分量；(b) 调整各向量顺序 图 1 后件参数矩阵 W = (w1,w2,··· ,wT ) 可以拆分为低秩部分 V = (v1, v2,··· , vT ) 和稀疏部分 E = (e1, e2,··· , eT ) W = (w1,w2,··· ,wT ) V = (v1, v2,··· , vT ) E = (e1, e2,··· , eT ) Fig. 1 The consequent parameter matrix can be decomposed into the low-rank component and the sparse component 所以，通过对后件参数联合矩阵的分解，再分 别施加低秩和行稀疏约束，在多任务建模中兼顾 多任务之间共享信息和特有信息的作用，提出了 任务间共享和特有结构划分的多任务 TSK 模糊 系统的目标函数，表示如下： min W ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗ +β||E||1,2 s.t.W = V + E (10) 式中：α 和 β 是正则化参数，用于调节共享参数和 特有参数在模型训练中发挥的作用，参数越大， 惩罚力度越大。 3 目标函数优化 本文使用增广拉格朗日乘子法[19-20] 求解式 (10) 提出的最优化问题，其增广拉格朗日目标函数为 min W,V,E,Y ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗+ β||E||1,2+ + µ 2 ||W −V − E||2 2 (11) Y ∈ R (D+1)×T 式中： 是拉格朗日乘子矩阵， ⟨·,·⟩ 表示 两个矩阵的内积运算。为便于计算，使 用 LADMAP 方法[21] 将目标函数重新表示为 min W,V,E,Y ∑T t=1 ||yt −Φtwt ||2 2 +α||V||∗+ β||E||1,2 + µ 2 ||W −V − E+ Y µ ||2 2 (12) 这是一个包含 W 、V 、E、Y 4 个优化变量的 最优化问题，所以本文交替使用其他变量的固定 值迭代优化每个变量，原问题被转化为下面若干 个子问题： 1) 固定 V、E、Y，式 (12) 化为如下目标函数： min W,V,E 1 N ∑T t=1 ||yt −Φtwt ||2 2+ µ 2 ||W −V − E+ Y µ ||2 2 (13) wt 0 wt 对 求导，并令其等于 ，整理之后，可以通 过式 (14) 获得 的解： wt = ( µI+2(Φt) TΦt )−1 · [2(Φt) T yt +µ(vt +et − yt/µ)] (14) 因此，可以进一步得到 W 的解： W = (w1,w2,··· ,wT ) (15) 2) 固定 W、E、Y，式 (12) 转化为目标函数： min V α||V||∗ + µ 2 ||W −V − E+ Y µ ||2 2 (16) ·624· 智 能 系 统 学 报 第 16 卷
第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·625· 使用奇异值阈值算子221求解式(16)的低秩 性，在多个真实数据集上进行泛化性能实验。实 问题，V的最优解可以写成如下形式： 验中用到的数据集包含2种类型：一种是相同输 v-D;(w-E+()y (17) 入不同输出的SDO数据集，将数据集的每一个 输出作为一个回归任务构成一个多任务数据集， 3)固定W、V、Y,式(11)变成如下目标函数： 数据集的多个任务共享同一个输人数据，但每个 minp例Elha 2w-v-E+ (18) 任务拥有不同的输入空间到输出空间的映射函 数；另一种是不同输入不同输出的DIDO数据集， 式(18)等同于求解如下问题： 同样将每一个输出作为一个回归任务，每个任务 minE+v-Q妮6 (19) 拥有不同的输入数据和不同的输人空间到输出空 其中Q=W-V+Y/μ，可以使用文献[23]中的方 间的映射函数。 法求解式(19)的最优化问题，得到E的最优解。 本节选择的Slump、Parkinsons Telemonitor-- 4)更新拉格朗日乘子矩阵Y和正则化参数： ing、Winequality、House数据集来自UCI Machine Y=Y+μ(W-V-E) (20) Learning Repository数据集网站。Slump数据集用 u=min(pμ，4max) (21) 来模拟混凝土的坍落度，涉及到坍落度、流动性 式中：p是一个大于1的正数。 和抗压强度3个输出，是一个SIDO数据集。Par 最终，本文提出多任务TSK模糊系统建模方 kinsons Telemonitoring数据集由来自42名早期帕 法具体描述如下： 金森氏症患者的生物医学声音测量组成，用来测量 算法MTTSKFS-CS motor和total UPDRS scores,也是一个SIDO数据 输入多任务数据集X1,X2,…,X,和对应的 集。Winequality数据集是一个利用基于理化测试 标签y1y2,yr;模糊规则数量M;正则化参数a, 数据来划分葡萄酒质量等级的数据集，包括红葡 B;可调节参数h;正整数p>1,μmax=103: 萄酒和白葡萄酒两个子集，本节分别将每个子集视 输出多任务的模糊前件和多任务后件参数 为一个任务，这是一个DIDO数据集。House数据 联合矩阵。 集被用于波士顿房价预测，在本节根据特征变量 训练过程 RAD”的值将数据集划分为(Task1:RAD=7.5)3个子集，作为一 用FCM聚类，获得M个聚类中心。然后计算每 个DIDO数据集。Multivalued(MV)Data Model- 个样本的模糊隶属度，生成每个任务的模糊字典。 ing数据集可以从KEEL Datasets Repository获得， 2)联合学习多任务的后件参数：求解式(12)， 是一个具有特征间依赖关系的人工数据集，本节 得到W、V、E最优解： 中根据第8个特征变量可以将数据集划分为两个 ①初始化：设定W是一个随机矩阵，V=W, 任务，作为DIDO数据集。表1中列出来了上述 W E=W-V。拉格朗日乘子矩阵Y= 所选用的数据集的特征维数、样本数量等具体细节。 W2 表1多任务数据集的详细信息 ②当式(12)不收敛 Table 1 Details of the multitask datasets 使用式(15)更新W 数据集 类型任务 特征数样本数 使用式(17更新V: Task 1 7 103 使用式(19)更新E: Slump SIDO Task 2 7 103 使用式(20)更新Y; Task 3 7 103 使用式(21)更新5， Task 1 26 5875 end while Parkinsons Telemonitoring SIDO Task 2 26 5875 return W Task 1 11 1599 3)输出多任务的模糊前件和多任务后件参数 Winequality DIDO Task 2 11 4898 联合矩阵。 Multivalued (MV)Data Task 1 10 1000 DIDO 4结果与分析 Modeling Task 2 10 1000 Task 1 13 191 4.1实验设置 Housing DIDO Task 2 13 182 13 132 为了验证本文提出的多任务建模方法的有效 Task 3
V 使用奇异值阈值算子[22] 求解式 (16) 的低秩 问题， 的最优解可以写成如下形式： V = Dα µ ( W − E+ ( 1 µ ) Y ) (17) 3) 固定 W、V、Y，式 (11) 变成如下目标函数： min E β||E||1,2 + µ 2 W −V − E+ Y µ 2 2 (18) 式 (18) 等同于求解如下问题： min E β µ ||E||1,2 + 1 2 ||V −Q||2 2 (19) Q = W −V +Y/µ E 其中 ，可以使用文献 [23] 中的方 法求解式 (19) 的最优化问题，得到 的最优解。 4) 更新拉格朗日乘子矩阵 Y 和正则化参数 µ： Y = Y +µ(W −V − E) (20) µ = min(ρµ, µmax) (21) 式中： ρ 是一个大于 1 的正数。 最终，本文提出多任务 TSK 模糊系统建模方 法具体描述如下： 算法 MTTSKFS-CS X1,X2,··· ,XT y1, y2,··· , yT M α β µ h ρ > 1 µmax = 103 输入 多任务数据集 和对应的 标签 ；模糊规则数量 ；正则化参数 , , ；可调节参数 ；正整数 ， ； 输出 多任务的模糊前件和多任务后件参数 联合矩阵。 训练过程 M 1) 生成模糊字典：首先对全部任务的样本使 用 FCM 聚类，获得 个聚类中心。然后计算每 个样本的模糊隶属度，生成每个任务的模糊字典。 W V E 2) 联合学习多任务的后件参数：求解式 (12)， 得到 、 、 最优解： W V = W E = W −V Y = W ||W||2 ①初始化: 设定 是一个随机矩阵， ， 。拉格朗日乘子矩阵 。 ②当式 (12) 不收敛 使用式 (15) 更新 W ; 使用式 (17) 更新 V ; 使用式 (19) 更新 E ; 使用式 (20) 更新 Y ; 使用式 (21) 更新 µ ; end while return W 3) 输出多任务的模糊前件和多任务后件参数 联合矩阵。 4 结果与分析 4.1 实验设置 为了验证本文提出的多任务建模方法的有效 性，在多个真实数据集上进行泛化性能实验。实 验中用到的数据集包含 2 种类型：一种是相同输 入不同输出的 SIDO 数据集，将数据集的每一个 输出作为一个回归任务构成一个多任务数据集， 数据集的多个任务共享同一个输入数据，但每个 任务拥有不同的输入空间到输出空间的映射函 数；另一种是不同输入不同输出的 DIDO 数据集， 同样将每一个输出作为一个回归任务，每个任务 拥有不同的输入数据和不同的输入空间到输出空 间的映射函数。 本节选择的 Slump、Parkinsons Telemonitoring、Winequality、House 数据集来自 UCI Machine Learning Repository 数据集网站。Slump 数据集用 来模拟混凝土的坍落度，涉及到坍落度、流动性 和抗压强度 3 个输出，是一个 SIDO 数据集。Parkinsons Telemonitoring 数据集由来自 42 名早期帕 金森氏症患者的生物医学声音测量组成，用来测量 motor 和 total UPDRS scores，也是一个 SIDO 数据 集。Winequality 数据集是一个利用基于理化测试 数据来划分葡萄酒质量等级的数据集，包括红葡 萄酒和白葡萄酒两个子集，本节分别将每个子集视 为一个任务，这是一个 DIDO 数据集。House 数据 集被用于波士顿房价预测，在本节根据特征变量 “RAD”的值将数据集划分为 (Task 1: RAD=7.5)3 个子集，作为一 个 DIDO 数据集。Multivalued (MV) Data Modeling 数据集可以从 KEEL Datasets Repository 获得， 是一个具有特征间依赖关系的人工数据集，本节 中根据第 8 个特征变量可以将数据集划分为两个 任务，作为 DIDO 数据集。表 1 中列出来了上述 所选用的数据集的特征维数、样本数量等具体细节。 表 1 多任务数据集的详细信息 Table 1 Details of the multitask datasets 数据集 类型 任务 特征数 样本数 Slump SIDO Task 1 7 103 Task 2 7 103 Task 3 7 103 Parkinsons Telemonitoring SIDO Task 1 26 5 875 Task 2 26 5 875 Winequality DIDO Task 1 11 1 599 Task 2 11 4 898 Multivalued (MV) Data Modeling DIDO Task 1 10 1 000 Task 2 10 1 000 Housing DIDO Task 1 13 191 Task 2 13 182 Task 3 13 132 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·625·
·626· 智能系统学报 第16卷 我们在实验中比较了几种经典的回归算法， 参数的设置通过5折交叉验证来进行寻优，这些 包括多任务和单任务回归算法。算法中涉及到的 算法的详细介绍以及参数的寻优范围如表2所示。 表2实验中各算法参数的详细设置 Table 2 Detailed settings of all algorithm's parameters 算法 说明 参数寻优范围 调节参数h∈{10,103，…，10 模糊规则数M∈{5,10，·，50) MTTSKFS-CS 本文提出的多任务模糊系统建模方法 正则化参数a∈{24,23，…，2 正则化参数B∈10,10-3，…，10 模糊规则数M∈{5,10·，1001 MT-TSK-FS 一种利用潜在任务间关系信息的多任务模糊系统 正则化参数t∈{2,23，…，2到 正则化参数A∈{10,103…，10) 正则化参数1∈{104,10-3，…，10 acorrelation-aware sparse and low-rank constrained CSL 正则化参数2∈{104,103，…，101 任务建模方法2网 正则化参数3∈{10,103，…，10 正则化参数y∈{10,10，…，10 Least_L21 基于L2,1范数正则化的最小二乘多任务建模方法P 正则化参数1∈{10,103，…，10 调节参数h∈{10,103，…，10) 模糊规则数M∈{5,10，·，50) TSKFS-SVR 基于SVR的单任务TSK模糊系统建模方法P阿 SVM代价函数Ce{2-4,23,…,2} 高斯核，核宽参数σ2∈104,103，…，10 本文选用RRSE来评价各对比算法的泛化性 CS及对比算法。 能，定义如下： 分别计算各模型在每个数据集的每个子任 务上的泛化性能，其中“Average”表示算法在每 JRRSE (22) 个数据集的所有任务中的平均表现。若算法为单 式中：是模型的预测输出；方是真实标签的均 任务算法时，分别对每个子任务进行建模，来评 值。RRSE越小表示模型的泛化能力越好。 价算法性能。本文提出的MTTSKFS-CS建模方 42泛化性能实验 法与对比方法在真实数据集上的实验结果如 我们分别在每个数据集上验证了MTTSKFS- 表3所示。 表3所有算法在各数据集上的泛化性能比较 Table 3 Comparison of generalization performance of all algorithms on datasets MTTSKFS-CS MT-TSK-FS TSKFS-SVR 数据集 CSL Least_L21 任务 RRSE Std RRSE Std RRSE Std RRSE Std RRSE Std Task10.89710.0391 0.94050.0361 0.89780.01601.55860.95261.66840.0184 Task20.78420.01910.89870.04620.77590.01271.08390.01611.14580.0165 Slump Task30.34680.01540.35920.02510.36080.00510.39550.00900.33120.0140 Average0.67600.01570.73280.01920.67810.00650.90400.00780.93420.0157 Task10.90710.00230.91260.00990.98060.00141.01290.00150.92600.0011 Parkinsons Telemonitoring Task 2 0.9059 0.0004 0.9213 0.0183 0.9847 0.0005 1.01530.00220.93280.0011 Average0.90650.00100.91700.01250.98270.00081.01410.00170.92490.0009
我们在实验中比较了几种经典的回归算法， 包括多任务和单任务回归算法。算法中涉及到的 参数的设置通过 5 折交叉验证来进行寻优，这些 算法的详细介绍以及参数的寻优范围如表 2 所示。 表 2 实验中各算法参数的详细设置 Table 2 Detailed settings of all algorithm’s parameters 算法 说明 参数寻优范围 MTTSKFS-CS 本文提出的多任务模糊系统建模方法 h ∈ { 10−4 ,10−3 ,··· ,104 } M ∈ {5,10,··· ,50} α ∈ { 2 −4 ,2 −3 ,··· ,2 5 } β ∈ { 10−4 ,10−3 ,··· ,105 } 调节参数 模糊规则数 正则化参数 正则化参数 MT-TSK-FS 一种利用潜在任务间关系信息的多任务模糊系统[18] M ∈ {5,10,··· ,100} τk ∈ { 2 −4 ,2 −3 ,··· ,2 5 } λ ∈ { 10−4 ,10−3 ,··· ,105 } 模糊规则数 正则化参数 正则化参数 CSL 一种acorrelation-aware sparse and low-rank constrained 多 任务建模方法[24] λ1 ∈ {10−4 ,10−3 ,··· ,104 } λ2 ∈ {10−4 ,10−3 ,··· ,104 } λ3 ∈ {10−4 ,10−3 ,··· ,104 } 正则化参数 正则化参数 正则化参数 Least_L21 基于L_2,1范数正则化的最小二乘多任务建模方法[25] γ ∈ { 10−5 ,10−4 ,··· ,105 } λ ∈ { 10−4 ,10−3 ,··· ,105 } 正则化参数 正则化参数 TSKFS-SVR 基于SVR的单任务TSK模糊系统建模方法[26] h ∈ { 10−4 ,10−3 ,··· ,104 } M ∈ {5,10,··· ,50} C ∈ { 2 −4 ,2 −3 ,··· ,2 5 } σ 2 ∈ { 10−4 ,10−3 ,··· ,104 } 调节参数 模糊规则数 SVM代价函数 高斯核，核宽参数 本文选用 RRSE 来评价各对比算法的泛化性 能，定义如下： JRRSE = vt∑N i=1 (byi −yi) 2 /∑N i=1 (yi −yi) 2 (22) byi yi JRRSE 式中： 是模型的预测输出； 是真实标签的均 值。 越小表示模型的泛化能力越好。 4.2 泛化性能实验 我们分别在每个数据集上验证了 MTTSKFSCS 及对比算法。 分别计算各模型在每个数据集的每个子任 务上的泛化性能，其中“Average”表示算法在每 个数据集的所有任务中的平均表现。若算法为单 任务算法时，分别对每个子任务进行建模，来评 价算法性能。本文提出的 MTTSKFS-CS 建模方 法与对比方法在真实数据集上的实验结果如 表 3 所示。 表 3 所有算法在各数据集上的泛化性能比较 Table 3 Comparison of generalization performance of all algorithms on datasets 数据集 任务 MTTSKFS-CS MT-TSK-FS CSL Least_L21 TSKFS-SVR RRSE Std RRSE Std RRSE Std RRSE Std RRSE Std Slump Task 1 0.897 1 0.0391 0.940 5 0.0361 0.897 8 0.016 0 1.5586 0.952 6 1.6684 0.018 4 Task 2 0.784 2 0.0191 0.898 7 0.0462 0.775 9 0.012 7 1.0839 0.016 1 1.1458 0.016 5 Task 3 0.346 8 0.0154 0.359 2 0.0251 0.360 8 0.005 1 0.3955 0.009 0 0.3312 0.014 0 Average 0.676 0 0.0157 0.732 8 0.0192 0.678 1 0.006 5 0.9040 0.007 8 0.9342 0.015 7 Parkinsons Telemonitoring Task 1 0.907 1 0.0023 0.912 6 0.0099 0.980 6 0.001 4 1.0129 0.001 5 0.9260 0.001 1 Task 2 0.905 9 0.0004 0.921 3 0.0183 0.984 7 0.000 5 1.0153 0.002 2 0.9328 0.001 1 Average 0.906 5 0.0010 0.917 0 0.0125 0.982 7 0.000 8 1.0141 0.001 7 0.9249 0.000 9 ·626· 智 能 系 统 学 报 第 16 卷
第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·627· 续表3 MTTSKFS-CS MT-TSK-FS CSL Least L21 TSKFS-SVR 数据集 任务 RRSE Std RRSE Std RRSE Std RRSE Std RRSE Std Task 1 0.8032 0.0038 0.79930.0024 0.80870.0021 0.97070.0016 0.84160.0057 Winequality Task 2 0.8216 0.0044 0.8396 0.0018 0.8553 0.0004 0.9136 0.0006 0.8483 0.0032 Average 0.81240.0020 0.81940.0021 0.8320 0.0009 0.94210.0009 0.8450 0.0022 Task 1 0.0804 0.0008 0.0908 0.0049 0.1366 0.0015 0.24720.0104 0.1390 0.0012 MV Task 2 0.0866 0.0038 0.0975 0.0039 0.09330.0024 0.95530.0081 0.1154 0.0009 Average0.08350.0018 0.09420.0034 0.11500.00180.06120.0092 0.12720.0011 Task 1 0.4003 0.0117 0.4105 0.0199 0.40570.0090 0.67580.0177 0.5413 0.0179 Task 2 0.3785 0.0082 0.3808 0.0086 0.38270.0073 0.68100.0133 0.67790.0234 Housing Task 3 0.6269 0.0125 0.64110.0077 0.6341 0.0139 0.71890.0201 0.7576 0.0395 Average 0.4685 0.0051 0.47750.0085 0.47420.0057 0.69190.00990.65890.0134 4.3后件参数划分的可视化分析 参数W、V、E进行可视化。图2展示了后件参数 为了进一步说明本文提出的对于后件参数矩 的可视化结果，从中可以看到，训练出的参数结 阵的低秩和稀疏划分的重要作用，我们将模型在 果，基本符合图1中的假设，W被划分为了低秩 Parkinsons Telemonitoring数据集上训练出的后件 部分V和稀疏部分E。 80 60 10 4 -2 -40 60 -19 20 4060 100 204060 80 100 204060 80100 特征索引 特征索引 特征索引 (a)Task 1 100 100 20 50 一0 -100 -20 20 4060 100 20 4060 80 20 4060 80 100 特征索引 特征索引 特征索引 (b)Task 2 图2W、V、E的可视化结果 Fig.2 Visualization of W.V,E 4.4算法收敛性分析 3节提出的优化方法具有良好的收敛性能，能够 为了进一步研究本文提出的MTTSKFS- 真正达到模型最优化的目的，从而使模型获得较 CS建模方法的收敛性，我们选取了Multivalued 高的实用性。 (MV)Data Modeling,Parkinsons Telemonitoring 4.5实验结果分析 House3个数据集，通过交叉验证寻优得到最优参 表3的实验结果证明MTTSKFS-CS方法在大 数，并在最优参数的基础上进行收敛性实验。算 多数任务上获得了比对比算法更好的性能表现。 法在3个数据集上的收敛曲线如图3所示。从收 与单任务方法相比，多任务建模方法明显提升了 敛曲线中可以看到，算法在前期可以快速收敛， 每个任务的预测表现，拥有更好的泛化性能。与 并迅速进入稳定状态。实验结果说明，本文第 多任务算法的对比结果说明，本文提出的方法在
4.3 后件参数划分的可视化分析 为了进一步说明本文提出的对于后件参数矩 阵的低秩和稀疏划分的重要作用，我们将模型在 Parkinsons Telemonitoring 数据集上训练出的后件 W V E W V E 参数 、 、 进行可视化。图 2 展示了后件参数 的可视化结果，从中可以看到，训练出的参数结 果，基本符合图 1 中的假设， 被划分为了低秩 部分 和稀疏部分 。 特征索引 W 参数值 80 60 40 20 0 −20 −40 −60 0 20 40 60 80 100 100 特征索引 W 参数值 100 50 0 −50 −100 0 20 40 60 80 特征索引 V 参数值 100 50 0 −50 −100 0 20 40 60 80 100 (b) Task 2 特征索引 E 参数值 20 10 0 −10 −20 0 20 40 60 80 100 特征索引 V 参数值 60 40 20 0 −20 −40 −60 0 20 40 60 80 100 (a) Task 1 特征索引 E 参数值 15 10 5 0 −5 −10 −15 0 20 40 60 80 100 图 2 W、V、E 的可视化结果 Fig. 2 Visualization of W,V,E 4.4 算法收敛性分析 为了进一步研究本文提出 的 MTTSKFSCS 建模方法的收敛性，我们选取了 Multivalued (MV) Data Modeling、Parkinsons Telemonitoring 和 House 3 个数据集，通过交叉验证寻优得到最优参 数，并在最优参数的基础上进行收敛性实验。算 法在 3 个数据集上的收敛曲线如图 3 所示。从收 敛曲线中可以看到，算法在前期可以快速收敛， 并迅速进入稳定状态。实验结果说明，本文第 3 节提出的优化方法具有良好的收敛性能，能够 真正达到模型最优化的目的，从而使模型获得较 高的实用性。 4.5 实验结果分析 表 3 的实验结果证明 MTTSKFS-CS 方法在大 多数任务上获得了比对比算法更好的性能表现。 与单任务方法相比，多任务建模方法明显提升了 每个任务的预测表现，拥有更好的泛化性能。与 多任务算法的对比结果说明，本文提出的方法在 续表 3 数据集 任务 MTTSKFS-CS MT-TSK-FS CSL Least_L21 TSKFS-SVR RRSE Std RRSE Std RRSE Std RRSE Std RRSE Std Winequality Task 1 0.803 2 0.0038 0.7993 0.0024 0.808 7 0.002 1 0.970 7 0.001 6 0.8416 0.0057 Task 2 0.821 6 0.0044 0.8396 0.0018 0.855 3 0.000 4 0.913 6 0.000 6 0.8483 0.0032 Average 0.812 4 0.0020 0.8194 0.0021 0.832 0 0.000 9 0.942 1 0.000 9 0.8450 0.0022 MV Task 1 0.080 4 0.0008 0.0908 0.0049 0.136 6 0.001 5 0.247 2 0.010 4 0.1390 0.0012 Task 2 0.086 6 0.0038 0.0975 0.0039 0.093 3 0.002 4 0.955 3 0.008 1 0.1154 0.0009 Average 0.083 5 0.0018 0.0942 0.0034 0.115 0 0.001 8 0.061 2 0.009 2 0.1272 0.0011 Housing Task 1 0.400 3 0.0117 0.4105 0.0199 0.405 7 0.009 0 0.675 8 0.017 7 0.5413 0.0179 Task 2 0.378 5 0.0082 0.3808 0.0086 0.382 7 0.007 3 0.681 0 0.013 3 0.6779 0.0234 Task 3 0.626 9 0.0125 0.6411 0.0077 0.634 1 0.013 9 0.718 9 0.020 1 0.7576 0.0395 Average 0.468 5 0.0051 0.4775 0.0085 0.474 2 0.005 7 0.691 9 0.009 9 0.6589 0.0134 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·627·
·628· 智能系统学报 第16卷 利用了多任务之间的的共享信息的同时有效利用 件参数联合矩阵W被划分为了低秩部分V和稀 了单个任务自身的特有信息，从而获得了更好的 疏部分E,实现了本文提出的模型设想，也间接验 表现。对于图2的可视化结果，我们可以看到，后 证了MTTSKFS-CS模型的有效性。 ×10 1.46 5480 155 1.44 5470 145 x1.42 5460 过 135 1.40 篷ns 回 1.38 5440 115 1.3 5430 10 0 100200.300400 01020304050607080 050100150200250300 迭代次数 迭代次数 迭代次数 (a)Parkinsons Telemonitoring (b)House (c)Multivalued(MV)Data Modeling 数据集 数据集 数据集 图3 MTTSKFS-CS方法的收敛曲线 Fig.3 Convergence curve of MTTSKFS-CS algorithm 5结束语 enclosing-ball approximation[J].IEEE transactions on fuzzy systems,2011,19(2):210-226. 本文提出了一种新型多任务模糊系统建模方 [6]JUANG C F,HSIEH C D.TS-fuzzy system-based support 法，首先使用模糊聚类方法获得多任务的模糊前 vector regression[J].Fuzzy sets and systems,2009, 件，然后通过合理划分后件参数联合矩阵为共享 160(17):2486-2504. 参数矩阵和特有参数矩阵，同时兼顾多任务之间 [7]林得富，王骏，张嘉旭，等.Takagi--Sugeno模糊系统双正 的共享信息和各任务的特有信息。最后通过 则联合稀疏建模新方法).计算机科学与探索，2019， ALM方法求解最优化问题，获得模型的最优解。 13(6):1016-1026 在多个真实多任务数据集上的实验结果说明了， LIN Defu,WANG Jun,ZHANG Jiaxu,et al.Novel Tak- 本文提出的MTTSKFS-CS建模方法能够有效解 agi-Sugeno fuzzy system modeling method via joint sparse 决传统多任务模型只着重于多任务共享信息的问 learning using two regularizations[J].Journal of frontiers 题。在今后的工作中，如何更好地在建模中平衡 of computer science and technology,2019,13(6): 共享信息和特有信息将是我们研究的重点。 1016-1026. [8]张春香，王骏，张嘉旭，等.面向自闭症轴助诊断的联合 参考文献： 组稀疏TSK建模方法[J].计算机科学与探索，2020， [1]LI Chaoshun,ZHOU Jianzhong,CHANG Li,et al.T-S 14(2)2083-2093. fuzzy model identification based on a novel hyperplane- ZHANG Chunxiang,WANG Jun,ZHANG Jiaxu,et al. shaped membership function[J].IEEE transactions on Novel TSK modeling method with joint group sparse fuzzy systems,2017,25(5):1364-1370. learning for autism aided diagnosis[J].Journal of frontiers [2]XU Peng,DENG Zhaohong,CUI Chen,et al.Concise of computer science and technology,2020,14(2): fuzzy system modeling integrating soft subspace cluster- 2083-2093. ing and sparse learning[J].IEEE transactions on fuzzy sys- [9]ZHU Yuanguo.Fuzzy optimal control for multistage fuzzy tems,2019.27(11):2176-2189 systems[J].IEEE transactions on systems,man,and cyber- [3]CHANG P C,LIU Chenhao.A TSK type fuzzy rule based netics,part B(cybernetics),2011,41(4):964-975 system for stock price prediction[J].Expert systems with [10]JANG J S R.ANFIS:adaptive-network-based fuzzy infer- applications,.2008,341):135-144. ence system[J].IEEE transactions on systems,man,and [4]ZHOU Shangming,GAN J Q.Extracting Takagi-Sugeno cybernetics,.1993,23(3):665-685. fuzzy rules with interpretable submodels via regularization [11]REZAEE B,ZARANDI M H F.Data-driven fuzzy mod- of linguistic modifiers[J].IEEE transactions on knowledge eling for Takagi-Sugeno-Kang fuzzy system[J].Informa and data engineering,2009.21(8):1191-1204. tion sciences,2010,180(2):241-255 [5]DENG Zhaohong,CHOI K S,CHUNG F L,et al.Scalable [12]CAVALLANTI G.CESA-BIANCHI N.GENTILE C TSK fuzzy modeling for very large datasets using minimal- Linear algorithms for online multitask classification[J]
利用了多任务之间的的共享信息的同时有效利用 了单个任务自身的特有信息，从而获得了更好的 表现。对于图 2 的可视化结果，我们可以看到，后 W V E 件参数联合矩阵 被划分为了低秩部分 和稀 疏部分 ，实现了本文提出的模型设想，也间接验 证了 MTTSKFS-CS 模型的有效性。 目标函数值 (c) Multivalued (MV) Data Modeling 数据集 (b) House 数据集 (a) Parkinsons Telemonitoring 数据集 0 100 200 300 400 0 10 20 30 40 50 60 70 80 0 50 100 150 200 250 300 迭代次数 迭代次数 迭代次数 1.46 1.44 1.42 1.40 1.38 1.36 目标函数值 目标函数值 5 480 5 470 5 460 5 450 5 440 5 430 155 145 135 125 115 105 ×105 图 3 MTTSKFS-CS 方法的收敛曲线 Fig. 3 Convergence curve of MTTSKFS-CS algorithm 5 结束语 本文提出了一种新型多任务模糊系统建模方 法，首先使用模糊聚类方法获得多任务的模糊前 件，然后通过合理划分后件参数联合矩阵为共享 参数矩阵和特有参数矩阵，同时兼顾多任务之间 的共享信息和各任务的特有信息。最后通过 ALM 方法求解最优化问题，获得模型的最优解。 在多个真实多任务数据集上的实验结果说明了， 本文提出的 MTTSKFS-CS 建模方法能够有效解 决传统多任务模型只着重于多任务共享信息的问 题。在今后的工作中，如何更好地在建模中平衡 共享信息和特有信息将是我们研究的重点。 参考文献： LI Chaoshun, ZHOU Jianzhong, CHANG Li, et al. T-S fuzzy model identification based on a novel hyperplaneshaped membership function[J]. IEEE transactions on fuzzy systems, 2017, 25(5): 1364–1370. [1] XU Peng, DENG Zhaohong, CUI Chen, et al. Concise fuzzy system modeling integrating soft subspace clustering and sparse learning[J]. IEEE transactions on fuzzy systems, 2019, 27(11): 2176–2189. [2] CHANG P C, LIU Chenhao. A TSK type fuzzy rule based system for stock price prediction[J]. Expert systems with applications, 2008, 34(1): 135–144. [3] ZHOU Shangming, GAN J Q. Extracting Takagi-Sugeno fuzzy rules with interpretable submodels via regularization of linguistic modifiers[J]. IEEE transactions on knowledge and data engineering, 2009, 21(8): 1191–1204. [4] DENG Zhaohong, CHOI K S, CHUNG F L, et al. Scalable TSK fuzzy modeling for very large datasets using minimal- [5] enclosing-ball approximation[J]. IEEE transactions on fuzzy systems, 2011, 19(2): 210–226. JUANG C F, HSIEH C D. TS-fuzzy system-based support vector regression[J]. Fuzzy sets and systems, 2009, 160(17): 2486–2504. [6] 林得富, 王骏, 张嘉旭, 等. Takagi-Sugeno 模糊系统双正 则联合稀疏建模新方法 [J]. 计算机科学与探索, 2019, 13(6): 1016–1026. LIN Defu, WANG Jun, ZHANG Jiaxu, et al. Novel Takagi-Sugeno fuzzy system modeling method via joint sparse learning using two regularizations[J]. Journal of frontiers of computer science and technology, 2019, 13(6): 1016–1026. [7] 张春香, 王骏, 张嘉旭, 等. 面向自闭症辅助诊断的联合 组稀疏 TSK 建模方法 [J]. 计算机科学与探索, 2020, 14(2): 2083–2093. ZHANG Chunxiang, WANG Jun, ZHANG Jiaxu, et al. Novel TSK modeling method with joint group sparse learning for autism aided diagnosis[J]. Journal of frontiers of computer science and technology, 2020, 14(2): 2083–2093. [8] ZHU Yuanguo. Fuzzy optimal control for multistage fuzzy systems[J]. IEEE transactions on systems, man, and cybernetics, part B (cybernetics), 2011, 41(4): 964–975. [9] JANG J S R. ANFIS: adaptive-network-based fuzzy inference system[J]. IEEE transactions on systems, man, and cybernetics, 1993, 23(3): 665–685. [10] REZAEE B, ZARANDI M H F. Data-driven fuzzy modeling for Takagi–Sugeno–Kang fuzzy system[J]. Information sciences, 2010, 180(2): 241–255. [11] CAVALLANTI G, CESA-BIANCHI N, GENTILE C. Linear algorithms for online multitask classification[J]. [12] ·628· 智 能 系 统 学 报 第 16 卷
第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·629· Journal of machine learning research,2010,11(5): [23]LIU Guangcan,LIU Zhouchen,YAN Shuicheng.Robust 2901-2934 recovery of subspace structures by low-rank representa- [13]EVGENIOU T,MICCHELLI C A,PONTIL M.Learning tion[J].IEEE transactions on pattern analysis and ma- multiple tasks with kernel methods[J].Journal of ma- chine intelligence,2013,35(1):171-184. chine learning research,2005,6(4):615-637. [24]JIANG Pengbo,WANG Xuetong,LI Qiongling,et al. [14]ZHANG Jiangmei,YU Binfeng,JI Haibo,et al.Multi- Correlation-aware sparse and low-rank constrained multi- task feature learning by using trace norm regulariza- task learning for longitudinal analysis of alzheimer's dis- tion[J].Open physics,2017,15(1):674-681. ease[J].IEEE journal of biomedical and health informat- [15]ZHAO Qian,RUI Xiangyu,HAN Zhi,et al.Multilinear ics,2019.23(4:1450-1456. multitask learning by rank-product regularization[J]. [25]ZHOU Jiayu,CHEN Jianhui,YE Jieping.Malsar:multi- IEEE transactions on neural networks and learning sys- task learning via structural regularization-user's manual tems,2020,31(4):1336-1350. version1.1[EB/OL].(2019-12-12)[2020-07-08]https:/github [16]ZHONG Shi,PU Jian,JIANG Yugang,et al.Flexible com/jiayuzhou/MALSAR. multi-task learning with latent task grouping[J].Neuro- [26]JUANG C F,CHIU S H,SHIU S J.Fuzzy system learned computing,2016,189:179-188. through fuzzy clustering and support vector machine for [17]XUE Ya,LIAO Xuejun,CARIN L,et al.Multi-task human skin color segmentation[J].IEEE transactions on learning for classification with dirichlet process priors[J]. systems,man,and cybernetics-part A:systems and hu- Journal of machine learning research,2007,8:35-63. mans,2007,37(6):1077-1087 [18]JIANG Yizhang,DENG Zhaohong,CHUNG F L,et al. 作者简介： Multi-task TSK fuzzy system modeling using inter-task 赵壮壮，硕士研究生，主要研究方 correlation information[J].Information sciences,2015, 向为模式识别与人工智能、模糊系统。 298:512-533 [19]WANG Jun,LIN Defu,DENG Zhaohong,et al.Multi- task TSK fuzzy system modeling by jointly reducing rules and consequent parameters[J].IEEE transactions on sys- tems,man,and cybernetics:systems,2019. [20]MENG Fan,YANG Xiaomei,ZHOU Chenghu,et al.The 王骏，副教授，主要研究方向为机 augmented lagrange multipliers method for matrix com- 器学习、模糊系统、医学影像分析。 pletion from corrupted samplings with application to mixed gaussian-impulse noise removal[J].PLoS one, 2014,9(9):e108125. [21]LIN Zhouchen,LIU Risheng,SU Zhixun.Linearized al- ternating direction method with adaptive penalty for low- rank representation[C]//Proceedings of 25th Annual Con- 潘祥，副教授、主要研究方向为医 学图像诊断、计算机视觉、AI医疗诊 ference on Neural Information Processing Systems. 断。主持国家自然科学基金项目 Granada,Spain,2011:612-620. 1项，安徽省自然科学基金项目1项。 [22]CAI Jianfeng,CANDES E J,SHEN Zuowei.A singular 获得授权发明专利6项，受理发明专 value thresholding algorithm for matrix completion[J]. 利2项。发表学术论文20余篇。 SIAM journal on optimization,2010,20(4):1956-1982
Journal of machine learning research, 2010, 11(5): 2901–2934. EVGENIOU T, MICCHELLI C A, PONTIL M. Learning multiple tasks with kernel methods[J]. Journal of machine learning research, 2005, 6(4): 615–637. [13] ZHANG Jiangmei, YU Binfeng, JI Haibo, et al. Multitask feature learning by using trace norm regularization[J]. Open physics, 2017, 15(1): 674–681. [14] ZHAO Qian, RUI Xiangyu, HAN Zhi, et al. Multilinear multitask learning by rank-product regularization[J]. IEEE transactions on neural networks and learning systems, 2020, 31(4): 1336–1350. [15] ZHONG Shi, PU Jian, JIANG Yugang, et al. Flexible multi-task learning with latent task grouping[J]. Neurocomputing, 2016, 189: 179–188. [16] XUE Ya, LIAO Xuejun, CARIN L, et al. Multi-task learning for classification with dirichlet process priors[J]. Journal of machine learning research, 2007, 8: 35–63. [17] JIANG Yizhang, DENG Zhaohong, CHUNG F L, et al. Multi-task TSK fuzzy system modeling using inter-task correlation information[J]. Information sciences, 2015, 298: 512–533. [18] WANG Jun, LIN Defu, DENG Zhaohong, et al. Multitask TSK fuzzy system modeling by jointly reducing rules and consequent parameters[J]. IEEE transactions on systems, man, and cybernetics: systems, 2019. [19] MENG Fan, YANG Xiaomei, ZHOU Chenghu, et al. The augmented lagrange multipliers method for matrix completion from corrupted samplings with application to mixed gaussian-impulse noise removal[J]. PLoS one, 2014, 9(9): e108125. [20] LIN Zhouchen, LIU Risheng, SU Zhixun. Linearized alternating direction method with adaptive penalty for lowrank representation[C]//Proceedings of 25th Annual Conference on Neural Information Processing Systems. Granada, Spain, 2011: 612−620. [21] CAI Jianfeng, CANDÈS E J, SHEN Zuowei. A singular value thresholding algorithm for matrix completion[J]. SIAM journal on optimization, 2010, 20(4): 1956–1982. [22] LIU Guangcan, LIU Zhouchen, YAN Shuicheng. Robust recovery of subspace structures by low-rank representation[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 171–184. [23] JIANG Pengbo, WANG Xuetong, LI Qiongling, et al. Correlation-aware sparse and low-rank constrained multitask learning for longitudinal analysis of alzheimer’s disease[J]. IEEE journal of biomedical and health informatics, 2019, 23(4): 1450–1456. [24] ZHOU Jiayu, CHEN Jianhui, YE Jieping. Malsar: multitask learning via structural regularization—user’s manual version 1.1[EB/OL]. (2019-12-12) [2020-07-08] https://github. com/jiayuzhou/MALSAR. [25] JUANG C F, CHIU S H, SHIU S J. Fuzzy system learned through fuzzy clustering and support vector machine for human skin color segmentation[J]. IEEE transactions on systems, man, and cybernetics-part A: systems and humans, 2007, 37(6): 1077–1087. [26] 作者简介： 赵壮壮，硕士研究生，主要研究方 向为模式识别与人工智能、模糊系统。 王骏，副教授，主要研究方向为机 器学习、模糊系统、医学影像分析。 潘祥，副教授、主要研究方向为医 学图像诊断、计算机视觉、AI 医疗诊 断。主持国家自然科学基金项 目 1 项，安徽省自然科学基金项目 1 项。 获得授权发明专利 6 项，受理发明专 利 2 项。发表学术论文 20 余篇。 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·629·