第4期 赵壮壮，等：任务间共享和特有结构分解的多任务TSK模糊系统建模 ·625· 使用奇异值阈值算子221求解式(16)的低秩 性，在多个真实数据集上进行泛化性能实验。实 问题，V的最优解可以写成如下形式： 验中用到的数据集包含2种类型：一种是相同输 v-D;(w-E+()y (17) 入不同输出的SDO数据集，将数据集的每一个 输出作为一个回归任务构成一个多任务数据集， 3)固定W、V、Y,式(11)变成如下目标函数： 数据集的多个任务共享同一个输人数据，但每个 minp例Elha 2w-v-E+ (18) 任务拥有不同的输入空间到输出空间的映射函 数；另一种是不同输入不同输出的DIDO数据集， 式(18)等同于求解如下问题： 同样将每一个输出作为一个回归任务，每个任务 minE+v-Q妮6 (19) 拥有不同的输入数据和不同的输人空间到输出空 其中Q=W-V+Y/μ，可以使用文献[23]中的方 间的映射函数。 法求解式(19)的最优化问题，得到E的最优解。 本节选择的Slump、Parkinsons Telemonitor-- 4)更新拉格朗日乘子矩阵Y和正则化参数： ing、Winequality、House数据集来自UCI Machine Y=Y+μ(W-V-E) (20) Learning Repository数据集网站。Slump数据集用 u=min(pμ，4max) (21) 来模拟混凝土的坍落度，涉及到坍落度、流动性 式中：p是一个大于1的正数。 和抗压强度3个输出，是一个SIDO数据集。Par 最终，本文提出多任务TSK模糊系统建模方 kinsons Telemonitoring数据集由来自42名早期帕 法具体描述如下： 金森氏症患者的生物医学声音测量组成，用来测量 算法MTTSKFS-CS motor和total UPDRS scores,也是一个SIDO数据 输入多任务数据集X1,X2,…,X,和对应的 集。Winequality数据集是一个利用基于理化测试 标签y1y2,yr;模糊规则数量M;正则化参数a, 数据来划分葡萄酒质量等级的数据集，包括红葡 B;可调节参数h;正整数p>1,μmax=103: 萄酒和白葡萄酒两个子集，本节分别将每个子集视 输出多任务的模糊前件和多任务后件参数 为一个任务，这是一个DIDO数据集。House数据 联合矩阵。 集被用于波士顿房价预测，在本节根据特征变量 训练过程 RAD”的值将数据集划分为(Task1:RAD<5;Task2: 1)生成模糊字典：首先对全部任务的样本使 5<=RAD<7.5;Task3:RAD>=7.5)3个子集，作为一 用FCM聚类，获得M个聚类中心。然后计算每 个DIDO数据集。Multivalued(MV)Data Model- 个样本的模糊隶属度，生成每个任务的模糊字典。 ing数据集可以从KEEL Datasets Repository获得， 2)联合学习多任务的后件参数：求解式(12)， 是一个具有特征间依赖关系的人工数据集，本节 得到W、V、E最优解： 中根据第8个特征变量可以将数据集划分为两个 ①初始化：设定W是一个随机矩阵，V=W, 任务，作为DIDO数据集。表1中列出来了上述 W E=W-V。拉格朗日乘子矩阵Y= 所选用的数据集的特征维数、样本数量等具体细节。 W2 表1多任务数据集的详细信息 ②当式(12)不收敛 Table 1 Details of the multitask datasets 使用式(15)更新W 数据集 类型任务 特征数样本数 使用式(17更新V: Task 1 7 103 使用式(19)更新E: Slump SIDO Task 2 7 103 使用式(20)更新Y; Task 3 7 103 使用式(21)更新5， Task 1 26 5875 end while Parkinsons Telemonitoring SIDO Task 2 26 5875 return W Task 1 11 1599 3)输出多任务的模糊前件和多任务后件参数 Winequality DIDO Task 2 11 4898 联合矩阵。 Multivalued (MV)Data Task 1 10 1000 DIDO 4结果与分析 Modeling Task 2 10 1000 Task 1 13 191 4.1实验设置 Housing DIDO Task 2 13 182 13 132 为了验证本文提出的多任务建模方法的有效 Task 3V 使用奇异值阈值算子[22] 求解式 (16) 的低秩 问题， 的最优解可以写成如下形式： V = Dα µ ( W − E+ ( 1 µ ) Y ) (17) 3) 固定 W、V、Y，式 (11) 变成如下目标函数： min E β||E||1,2 + µ 2 W −V − E+ Y µ 2 2 (18) 式 (18) 等同于求解如下问题： min E β µ ||E||1,2 + 1 2 ||V −Q||2 2 (19) Q = W −V +Y/µ E 其中 ，可以使用文献 [23] 中的方 法求解式 (19) 的最优化问题，得到 的最优解。 4) 更新拉格朗日乘子矩阵 Y 和正则化参数 µ： Y = Y +µ(W −V − E) (20) µ = min(ρµ, µmax) (21) 式中： ρ 是一个大于 1 的正数。 最终，本文提出多任务 TSK 模糊系统建模方 法具体描述如下： 算法 MTTSKFS-CS X1,X2,··· ,XT y1, y2,··· , yT M α β µ h ρ > 1 µmax = 103 输入 多任务数据集 和对应的 标签 ；模糊规则数量 ；正则化参数 , , ；可调节参数 ；正整数 ， ； 输出 多任务的模糊前件和多任务后件参数 联合矩阵。 训练过程 M 1) 生成模糊字典：首先对全部任务的样本使 用 FCM 聚类，获得 个聚类中心。然后计算每 个样本的模糊隶属度，生成每个任务的模糊字典。 W V E 2) 联合学习多任务的后件参数：求解式 (12)， 得到 、 、 最优解： W V = W E = W −V Y = W ||W||2 ①初始化: 设定 是一个随机矩阵， ， 。拉格朗日乘子矩阵 。 ②当式 (12) 不收敛 使用式 (15) 更新 W ; 使用式 (17) 更新 V ; 使用式 (19) 更新 E ; 使用式 (20) 更新 Y ; 使用式 (21) 更新 µ ; end while return W 3) 输出多任务的模糊前件和多任务后件参数 联合矩阵。 4 结果与分析 4.1 实验设置 为了验证本文提出的多任务建模方法的有效 性，在多个真实数据集上进行泛化性能实验。实 验中用到的数据集包含 2 种类型：一种是相同输 入不同输出的 SIDO 数据集，将数据集的每一个 输出作为一个回归任务构成一个多任务数据集， 数据集的多个任务共享同一个输入数据，但每个 任务拥有不同的输入空间到输出空间的映射函 数；另一种是不同输入不同输出的 DIDO 数据集， 同样将每一个输出作为一个回归任务，每个任务 拥有不同的输入数据和不同的输入空间到输出空 间的映射函数。 本节选择的 Slump、Parkinsons Telemonitor￾ing、Winequality、House 数据集来自 UCI Machine Learning Repository 数据集网站。Slump 数据集用 来模拟混凝土的坍落度，涉及到坍落度、流动性 和抗压强度 3 个输出，是一个 SIDO 数据集。Par￾kinsons Telemonitoring 数据集由来自 42 名早期帕 金森氏症患者的生物医学声音测量组成，用来测量 motor 和 total UPDRS scores，也是一个 SIDO 数据 集。Winequality 数据集是一个利用基于理化测试 数据来划分葡萄酒质量等级的数据集，包括红葡 萄酒和白葡萄酒两个子集，本节分别将每个子集视 为一个任务，这是一个 DIDO 数据集。House 数据 集被用于波士顿房价预测，在本节根据特征变量 “RAD”的值将数据集划分为 (Task 1: RAD<5; Task 2: 5<=RAD <7.5; Task 3: RAD>=7.5)3 个子集，作为一 个 DIDO 数据集。Multivalued (MV) Data Model￾ing 数据集可以从 KEEL Datasets Repository 获得， 是一个具有特征间依赖关系的人工数据集，本节 中根据第 8 个特征变量可以将数据集划分为两个 任务，作为 DIDO 数据集。表 1 中列出来了上述 所选用的数据集的特征维数、样本数量等具体细节。 表 1 多任务数据集的详细信息 Table 1 Details of the multitask datasets 数据集 类型 任务 特征数 样本数 Slump SIDO Task 1 7 103 Task 2 7 103 Task 3 7 103 Parkinsons Telemonitoring SIDO Task 1 26 5 875 Task 2 26 5 875 Winequality DIDO Task 1 11 1 599 Task 2 11 4 898 Multivalued (MV) Data Modeling DIDO Task 1 10 1 000 Task 2 10 1 000 Housing DIDO Task 1 13 191 Task 2 13 182 Task 3 13 132 第 4 期 赵壮壮，等：任务间共享和特有结构分解的多任务 TSK 模糊系统建模 ·625·