【机器学习】基于三支决策的序列数据代价敏感分类算法.pdf_大学文库

第14卷第6期智能系统学报 Vol.14 No.6 2019年11月 CAAI Transactions on Intelligent Systems Nov.2019 D0:10.11992/tis.201905049 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20190830.1438.004.html 基于三支决策的序列数据代价敏感分类算法刘牧雷，徐菲菲 (上海电力学院计算机科学与技术学院，上海200090)】摘要：代价敏感分类区别于一般分类方法，更关注高代价类别的分类准确性而容忍全局分类的准确性。三支决策作为一种代价敏感分类问题的解决思路，缺乏对序列数据的支持。结合LSTM模型处理序列数据的能力，提出一种使用三支决策(3WD)改进的序列数据分类方法。方法经过LSTM网络对原数据进行粗分类；对分类结果进行整体代价评估：最终，对高风险分类进行延迟或拒绝处理。方法在4个数据集上进行了测试，并进行了2组对比实验。实验结果表明：本文方法在不改变LSTM模型的情况下，对LSTM模型的分类结果进行了代价区分。关键词：代价敏感：三支决策；长短期记忆网络；序列数据分类；分类算法；高代价类别：代价评估中图分类号：TP181文献标志码：A文章编号：1673-4785(2019)06-1255-07 中文引用格式：刘牧雷，徐菲菲.基于三支决策的序列数据代价敏感分类算法.智能系统学报，2019,14(6)：1255-1261. 英文引用格式：LIU Mulei,,XU Feifei..A sequence data,cost-sensitive classification algorithm based on three-way decisionsJ. CAAI transactions on intelligent systems,2019,14(6):1255-1261. A sequence data,cost-sensitive classification algorithm based on three-way decisions LIU Mulei,XU Feifei (School of Computer Science and Technology,Shanghai University of Electric Power,Shanghai 200090,China) Abstract:Cost-sensitive classification is different from the general classification method,which pays more attention to the classification accuracy of high-cost categories,but tolerates the accuracy of global classification.Three-way de- cisions are a solution to a cost-sensitive classification problem and lack support for sequence data.Combined with the ability of the LSTM model in sequence data processing,a method for classifying sequence data a using three-way de- cision method (3WD)is proposed.First,a general classification of the original data was done through the LSTM net- work;second,an overall cost estimate was performed on the classification result of step one;finally,the high-risk result was delayed or rejected.Methods were tested on four data sets and two sets of comparative experiments were per- formed.Experimental results showed that the new method distinguished the classification results of the LSTM model without changing the original structure. Keywords:cost-sensitive;three-way decision;LSTM:sequence data classification;classification algorithm;high-cost categorie;cost estimate 当前，LSTM作为深度学习的一种处理序列方式来使分类器获得对某一类代价敏感类别更高数据最为流行的解决方案，拥有着较传统方案更的关注从而实现减少整体的代价。但是这种方加实用性强且准确率高的特点②。但是，基于深法的缺点如前文所述。为了训练对高代价分类敏度学习的代价敏感决策仍未得到主流的研究关感的模型，筛选出的数据集将会面临严重的数据注。当前的研究重点多集中于如何更高效的获得不平衡问题。而无论是填充或者再平衡的方式，精确的整体准确率。在有关于深度学习的代价敏都会使原数据集的结构改变。其次，无论是对感分类或决策问题上，当前的算法常见解决方案数据集的预处理还是对运行参数或者模型结构的多集中于通过对数据的预处理和运行参数调整的调整，都与具体问题相关性较大”。对于不同的具体问题，数据清洗和参数调整或模型调整的优收稿日期：2019-05-26.网络出版日期：2019-08-30 通信作者：徐菲菲.E-mail:xufeifeil983@hotmail.com 劣与模型设计者的经验与对问题的了解有着较大

DOI: 10.11992/tis.201905049 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20190830.1438.004.html 基于三支决策的序列数据代价敏感分类算法刘牧雷，徐菲菲（上海电力学院计算机科学与技术学院，上海 200090）摘要：代价敏感分类区别于一般分类方法，更关注高代价类别的分类准确性而容忍全局分类的准确性。三支决策作为一种代价敏感分类问题的解决思路，缺乏对序列数据的支持。结合 LSTM 模型处理序列数据的能力，提出一种使用三支决策 (3WD) 改进的序列数据分类方法。方法经过 LSTM 网络对原数据进行粗分类；对分类结果进行整体代价评估；最终，对高风险分类进行延迟或拒绝处理。方法在 4 个数据集上进行了测试，并进行了 2 组对比实验。实验结果表明：本文方法在不改变 LSTM 模型的情况下，对 LSTM 模型的分类结果进行了代价区分。关键词：代价敏感；三支决策；长短期记忆网络；序列数据分类；分类算法；高代价类别；代价评估中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2019)06−1255−07 中文引用格式：刘牧雷, 徐菲菲. 基于三支决策的序列数据代价敏感分类算法 [J]. 智能系统学报, 2019, 14(6): 1255–1261. 英文引用格式：LIU Mulei, XU Feifei. A sequence data, cost-sensitive classification algorithm based on three-way decisions[J]. CAAI transactions on intelligent systems, 2019, 14(6): 1255–1261. A sequence data, cost-sensitive classification algorithm based on three-way decisions LIU Mulei，XU Feifei (School of Computer Science and Technology, Shanghai University of Electric Power, Shanghai 200090, China) Abstract: Cost-sensitive classification is different from the general classification method, which pays more attention to the classification accuracy of high-cost categories, but tolerates the accuracy of global classification. Three-way decisions are a solution to a cost-sensitive classification problem and lack support for sequence data. Combined with the ability of the LSTM model in sequence data processing, a method for classifying sequence data a using three-way decision method (3WD) is proposed. First, a general classification of the original data was done through the LSTM network; second, an overall cost estimate was performed on the classification result of step one; finally, the high-risk result was delayed or rejected. Methods were tested on four data sets and two sets of comparative experiments were performed. Experimental results showed that the new method distinguished the classification results of the LSTM model without changing the original structure. Keywords: cost-sensitive; three-way decision; LSTM; sequence data classification; classification algorithm; high-cost categorie; cost estimate 当前，LSTM 作为深度学习的一种处理序列数据最为流行的解决方案，拥有着较传统方案更加实用性强且准确率高的特点[1-2]。但是，基于深度学习的代价敏感决策仍未得到主流的研究关注。当前的研究重点多集中于如何更高效的获得精确的整体准确率。在有关于深度学习的代价敏感分类或决策问题上，当前的算法常见解决方案多集中于通过对数据的预处理和运行参数调整的方式来使分类器获得对某一类代价敏感类别更高的关注从而实现减少整体的代价[3]。但是这种方法的缺点如前文所述。为了训练对高代价分类敏感的模型，筛选出的数据集将会面临严重的数据不平衡问题。而无论是填充或者再平衡的方式，都会使原数据集的结构改变[4]。其次，无论是对数据集的预处理还是对运行参数或者模型结构的调整，都与具体问题相关性较大[5-7]。对于不同的具体问题，数据清洗和参数调整或模型调整的优劣与模型设计者的经验与对问题的了解有着较大收稿日期：2019−05−26. 网络出版日期：2019−08−30. 通信作者：徐菲菲. E-mail：xufeifei1983@hotmail.com. 第 14 卷第 6 期智能系统学报 Vol.14 No.6 2019 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2019

·1256· 智能系统学报第14卷的关系。并且，对于不同的问题，相同的解决方在决策粗糙集公式化描述中，X是全集U的案并不能保证稳定的表现。在不同的数据集之子集，状态集合可以表示为2={X,X,X和X 间，相同的数据清洗和参数调整所带来的模型上分别表示属于X和不属于X。为了方便，子集和的改变影响是不同的。子集的状态都使用X来表示。状态X对应的动基于此，本文提出的将三支决策运用于深度作集合为A={PB,N,其中P、B、N分别表示3 学习模型能够一定程度上解决上述问题。1)三支种判定动作，即x∈POS(X)、x∈BND(X)、x∈NEG(X)。决策算法的理论基础为粗糙集理论，以分类置信三支决策的损失函数由各个动作带来的损失决定。度为基础判断决策或分类代价。从算法逻辑的角如表1所示，其中p、BP、p表示当x属于X 度，三支决策算法要求更高的全局分类的准确性时采取动作P、B、N产生的损失，w、BN、w表而不是对单独高代价类的分类，此特点使得三支示当对象属于X时采取动作P、B、N时产生的损失。决策算法与更高的更广泛的分类算法优点相结合，在前置分类器不用做出改动或者调整的情况表1三支决策的损失函数 Table 1 Loss function of 3WD 下降低决策的风险。2)三支决策算法倾向于判断单独决策。因此，新改进的算法将避免在正常预动作女 -X 处理的前提下，将避免因平衡特殊分类类别而造 App N 成的数据重新扩展或裁剪，从而进一步影响数据 B ABP ABN 平衡问题。综上，结合三支决策的LSTM模型可 ANP ANN 以在原先的深度模型的基础上，进一步增强模型根据最小风险决策规则：在代价敏感问题上的表现。 P)当P,(W[x≥a时，x∈POS(X: 1相关工作 B)当B<P,(X[x)<a时，x∈BND(X): N)当P,(X[x)≤B时，x∈NEG(X): 1.1三支决策其中三支决策⑧是Y.Y.Yao由概率粗糙集理论提 APN-ABN Q= (1) 出的一种新决策思想。相较于传统的“是，否”二 (APN-ABN)+(ABP-APP) 支决策而言，三支决策提出了一种不同但是更合 B= ABN -ANN (☑BN-NN)+(Np-p) (2) 理的决策思想，即当对象当前提供的信息不足以支撑决策时，采用延迟决策，等待更多信息来完且成最终决策。所以，三支决策可以规避分类信息 0≤B<a≤1 (3) 不足时盲目决策造成的风险。 1.2长短时记忆网络三支决策在进行分类决策前，需对样本进行 LSTM是由Hoehreiterhe与Schmiduhber于域的划分。划分的原理基于粗糙集理论。按照粗 1997年提出后经过大量的改进，目前被广泛应用网，糙集的定义，根据元素x是否属于概念A,x与A 成为目前处理序列与时序问题上的热门方案。将分为3种关系：x∈A,x∈A,x∈BND(A)。由此， LSTM是由一般的RNN改进而来。LSTM与一般考虑一般分类问题，将元素x是否符合概念A作的RNN的主要区别是在LSTM中的神经元不再为分类标准，将可能会得到x∈BND(A),即元素x 是由单纯的神经元组成而是由4个功能不同的门属于概念A的边界域。由此，可得知决策粗糙集来共同作用。其中包括了输入门、输出门、状态在代价敏感分类问题上的整体思路。门，以及遗忘门。具体的结构如图1所示。 tanh (X 中图1LSTM网络结构 Fig.1 LSTM network structure

的关系。并且，对于不同的问题，相同的解决方案并不能保证稳定的表现。在不同的数据集之间，相同的数据清洗和参数调整所带来的模型上的改变影响是不同的。基于此，本文提出的将三支决策运用于深度学习模型能够一定程度上解决上述问题。1) 三支决策算法的理论基础为粗糙集理论，以分类置信度为基础判断决策或分类代价。从算法逻辑的角度，三支决策算法要求更高的全局分类的准确性而不是对单独高代价类的分类，此特点使得三支决策算法与更高的更广泛的分类算法优点相结合，在前置分类器不用做出改动或者调整的情况下降低决策的风险。2) 三支决策算法倾向于判断单独决策。因此，新改进的算法将避免在正常预处理的前提下，将避免因平衡特殊分类类别而造成的数据重新扩展或裁剪，从而进一步影响数据平衡问题。综上，结合三支决策的 LSTM 模型可以在原先的深度模型的基础上，进一步增强模型在代价敏感问题上的表现。 1 相关工作 1.1 三支决策三支决策[8] 是 Y.Y.Yao 由概率粗糙集理论提出的一种新决策思想。相较于传统的“是，否”二支决策而言，三支决策提出了一种不同但是更合理的决策思想，即当对象当前提供的信息不足以支撑决策时，采用延迟决策，等待更多信息来完成最终决策。所以，三支决策可以规避分类信息不足时盲目决策造成的风险。 x A x A x ∈ A x ∈ ¬A x ∈ BND(A) x A x ∈ BND(A) x A 三支决策在进行分类决策前，需对样本进行域的划分。划分的原理基于粗糙集理论。按照粗糙集的定义，根据元素是否属于概念，与将分为 3 种关系： , , 。由此，考虑一般分类问题，将元素是否符合概念作为分类标准，将可能会得到，即元素属于概念的边界域。由此，可得知决策粗糙集在代价敏感分类问题上的整体思路。 X U Ω = {X,¬X} X ¬X X X X X ∧ = {P,B,N} P、B、N x ∈ POS(X) x ∈ BND(X) x ∈ NEG(X) λPP、λBP、λNP x X P、B、N λPN、λBN、λNN ¬X P、B、N 在决策粗糙集公式化描述中，是全集的子集，状态集合可以表示为，和分别表示属于和不属于。为了方便，子集和子集的状态都使用来表示。状态对应的动作集合为，其中分别表示 3 种判定动作，即、、。三支决策的损失函数由各个动作带来的损失决定。如表 1 所示，其中表示当属于时采取动作产生的损失，表示当对象属于时采取动作时产生的损失。表 1 三支决策的损失函数 Table 1 Loss function of 3WD 动作 X ¬X P λPP λPN B λBP λBN N λNP λNN 根据最小风险决策规则： (P) 当 Pr (X|[x]) ⩾ α 时，x ∈ POS(X); (B) 当 β < Pr (X|[x]) < α 时，x ∈ BND(X); (N) 当 Pr (X|[x]) ⩽ β 时，x ∈ NEG(X); 其中 α = λPN −λBN (λPN −λBN)+(λBP −λPP) (1) β = λBN −λNN (λBN −λNN)+(λNP −λNP) (2) 且 0 ⩽ β < α ⩽ 1 (3) 1.2 长短时记忆网络 LSTM 是由 Hoehreiterhe 与 Schmiduhber 于 1997 年提出后经过大量的改进，目前被广泛应用[9] ，成为目前处理序列与时序问题上的热门方案。 LSTM 是由一般的 RNN 改进而来。LSTM 与一般的 RNN 的主要区别是在 LSTM 中的神经元不再是由单纯的神经元组成而是由 4 个功能不同的门来共同作用。其中包括了输入门、输出门、状态门，以及遗忘门。具体的结构如图 1 所示。 × × × × × × × × × + + + ht−1 xt−1 xt xt+1 h ht+1 t tanh σ tanh σ σ tanh σ σ σ σ tanh tanh σ σ tanh 图 1 LSTM 网络结构 Fig. 1 LSTM network structure ·1256· 智能系统学报第 14 卷

第6期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257· LSTM的独特结构是为了使其能够解决长期错误分类的代价；P(x)表示算法将x划分至类别依赖问题而专门设计的。不同于RNN网络， j的概率；c(亿，》表示将i分类划分至j所产生的 LSTM的重复结构是由更加复杂的3个门相互连代价。接而成。包括遗忘门、输人门与输出门。对于每个类别i,L(x,)表示x所有可能的划式(4)(9)描述了细胞内各个门的处理流程。分结果的代价的概率和。故由式(10)知，当分类 f=(W[h-1,x:]+b) (4) 代价最小时，其分类结果P(x)不一定取到最大 i=r(W[h-1,+b) (5) 值。即为了得到更小的分类代价，可能会放弃最 C,tanh(Wc.[h-1.x]+bc) (6) 大的分类结果。 C:=f-C-+iC (7) 在如何使算法获得倾向性的问题上，有两种 o=c(W。·[h-1,x]+bo) (8) 经典算法：1)通过预处理，使算法对某些结果具 h =o-tanh (C) (9) 式(4)描述了遗忘门决定了当细胞更新时细有敏感性，此方法称为rescaling;2)希望通过以胞状态会丢弃什么信息。该门会读取h-1和x, 代价为基准修改不同分类在算法中的成员可能输出在[0，)之间的数值与原先细胞状态C-1相性，从而产生不同的倾向性。此方法称为rewei-- 结合。其中，1表示完全保留，0表示完全遗忘。 ghted。其中，h-1表示上一个细胞的输出，x表示当前细 2基于LSTM的三支决策分类算法胞的输入，c表示sigmod函数。式(5)描述输入门决定了让多少新的信息基于三支决策的LSTM算法在原有的加入到细胞状态中。第一步，细胞输入x与细胞 LSTM基础上，增加了三支决策步骤，对前端分类的上个输出h,-1会通过sigmod元来决定更新的器给出的预测结果做出接受、拒绝、延迟3种不内容。同的方案，算法流程如图2所示。式(6)描述了更新内容C。与式（⑤）同时，同样的输入会通过一个tanh元，生成备用的更新内容C。前瓷分类器式(7)描述了更新内容C,。将式(5)与式延迟 (6两部分结果相乘，将细胞状态由C-1更新至C。最终输出数据由式(8)的输出与当前细胞状拒绝态的一部分共同决定输出的最终值，如式(9)描述。以上为LSTM模型的基本工作流。图2基于LSTM的三支决策算法流程 Fig.2 Flow of 3WD based on LSTM 1.3代价敏感分类一般的，对于分类算法的研究的核心与重点算法包括两部分：1)前置分类器，用于初步为如何取得更高的分类准确率，但事实上，只要分类：2)三支决策，考虑决策风险，通过算法的判有误差存在，分类过程总会产生代价。而代价敏断降低决策风险。感分类就是关注如何使分类过程中产生的代价最 2.1前置分类器小。根据问题的难易程度，代价敏感问题常被分前置分类器的作用主要体现在前置分类器的为二分类与多分类问题。对于二分类问题，目前分类精度最终决定了整体上的分类效果。此后的大部分的代价敏感分类多是从非代价敏感分类算三支决策对前置分类器的分类结果做出评判，决法加以转化得到的。定接受、拒绝、或者延迟推断。对于LSTM分类结合上述，可将代价敏感分类等价于一个优器，主要用来解决分类和时序问题预测。输出包化问题：将实例使用分类算法A划分至类别1时，括预测结果C和预测的分类概率p。分类概率p 使损失函数L(x,)达到最小o: 用于下一步中三支决策算法来判断是否采纳分类 Lx.=∑PUc6, (10) 结果。 2.2三支决策式中：x表示一个实例；L(,)表示x的类别为i时三支决策对前置分类器给出的结果进行分

LSTM 的独特结构是为了使其能够解决长期依赖问题而专门设计的。不同于 RNN 网络， LSTM 的重复结构是由更加复杂的 3 个门相互连接而成。包括遗忘门、输入门与输出门。式 (4)~(9) 描述了细胞内各个门的处理流程。 ft = σ ( Wf ·[ht−1, xt]+bf ) (4) it = σ(Wi ·[ht−1, xt]+bi) (5) Cet = tanh(WC ·[ht−1 , xt]+bC) (6) Ct = ft ·Ct−1 +it ·Cet (7) ot = σ(Wo ·[ht−1, xt]+bo) (8) ht = ot ·tanh(Ct) (9) ht−1 xt [0,1] Ct−1 ht−1 xt σ 式 (4) 描述了遗忘门决定了当细胞更新时细胞状态会丢弃什么信息。该门会读取和，输出在之间的数值与原先细胞状态相结合。其中，1 表示完全保留，0 表示完全遗忘。其中，表示上一个细胞的输出，表示当前细胞的输入，表示 sigmod 函数。 xt ht−1 式 (5) 描述输入门决定了让多少新的信息加入到细胞状态中。第一步，细胞输入与细胞的上个输出会通过 sigmod 元来决定更新的内容。 Cet Cet 式 (6) 描述了更新内容。与式 (5) 同时，同样的输入会通过一个 tanh 元，生成备用的更新内容。 Ct Ct−1 Ct 式 (7) 描述了更新内容。将式 (5) 与式 (6) 两部分结果相乘，将细胞状态由更新至。最终输出数据由式 (8) 的输出与当前细胞状态的一部分共同决定输出的最终值，如式 (9) 描述。以上为 LSTM 模型的基本工作流。 1.3 代价敏感分类一般的，对于分类算法的研究的核心与重点为如何取得更高的分类准确率，但事实上，只要有误差存在，分类过程总会产生代价。而代价敏感分类就是关注如何使分类过程中产生的代价最小。根据问题的难易程度，代价敏感问题常被分为二分类与多分类问题。对于二分类问题，目前大部分的代价敏感分类多是从非代价敏感分类算法加以转化得到的。 A I L(x,i) 结合上述，可将代价敏感分类等价于一个优化问题: 将实例使用分类算法划分至类别时，使损失函数达到最小[10] ： L(x,i) = ∑ j P(j|x) c (i, j) (10) 式中：x 表示一个实例； L(x,i) 表示 x 的类别为 i 时 P(j|x) x j c (i, j) i j 错误分类的代价；表示算法将划分至类别的概率；表示将分类划分至所产生的代价。 i L(x,i) x P(j|x) 对于每个类别，表示所有可能的划分结果的代价的概率和。故由式 (10) 知，当分类代价最小时，其分类结果不一定取到最大值。即为了得到更小的分类代价，可能会放弃最大的分类结果。在如何使算法获得倾向性的问题上，有两种经典算法：1) 通过预处理，使算法对某些结果具有敏感性，此方法称为 rescaling[11] ；2) 希望通过以代价为基准修改不同分类在算法中的成员可能性，从而产生不同的倾向性。此方法称为 reweighted[12]。 2 基于 LSTM 的三支决策分类算法基于三支决策的 LST M 算法在原有的 LSTM 基础上，增加了三支决策步骤，对前端分类器给出的预测结果做出接受、拒绝、延迟 3 种不同的方案，算法流程如图 2 所示。分类三支决策结果前置分类器延迟拒绝接受图 2 基于 LSTM 的三支决策算法流程 Fig. 2 Flow of 3WD based on LSTM 算法包括两部分：1) 前置分类器，用于初步分类；2) 三支决策，考虑决策风险，通过算法的判断降低决策风险。 2.1 前置分类器 C p p 前置分类器的作用主要体现在前置分类器的分类精度最终决定了整体上的分类效果。此后的三支决策对前置分类器的分类结果做出评判，决定接受、拒绝、或者延迟推断。对于 LSTM 分类器，主要用来解决分类和时序问题预测。输出包括预测结果和预测的分类概率。分类概率用于下一步中三支决策算法来判断是否采纳分类结果。 2.2 三支决策三支决策对前置分类器给出的结果进行分第 6 期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257·

析。根据式 (1)~(3)，可以得出相应的判断代价 Ø。 X λ 将根据前置分类器的分类结果，与由对应的损失函数计算出的代价，由判断规则 (Pli)、 (Bli)、(Nli) 判断，给出相应的决策建议。 (Pli)IF Pr(X|ui) ⩾ αi , THEN ui ∈ POS(X) (Bli) IF βi pi ⩾ β i ∈ bnd ELSE: i ∈ neg 6) d = 计算整体代价 d > d ′ 7) IF 目标值 : GOTO 2 END 3 实验与结果实验在自建实验平台中运行。实验平台包括 4 台服务器，每台服务器均使用相同的配置。每台服务器有 6 个 CPU，主频 2.5 GHz，运行内存 16 GB。测试数据集来自 UCI 开放数据集中的 Beijing PM2.5 Data Set 与 International airline passengers。数据集均为分类任务。 PM2.5 数据集来自于 UCI 数据库，该数据集记录了从 2010 年 1 月 1 日至 2014 年 12 月 31 日北京市的空气质量指数和气象数据。数据集为时间序列数据，特征为连续特征，任务可作为分类或回归任务。数据一共 43 824 条记录，特征共 13 个，部分数据缺失。 tn−i tn 数据集中包括了时间，当日的温度、湿度、气压、风向、累计风速、累计降雨/降雪量、PM2.5 指数共 1 3 个数据。其中的 PM2. 5 指数为当日 PM2.5 值，为连续实数。当预测 PM2.5 值时，问题为回归问题。若以判断 PM2.5 区间作为空气质量判断时，问题为分类问题。本例中，将原数据集中的 PM2.5 均分为 4 个区间，从小到大分别标记为 [ 优，良，一般，差 ]4 类。根据前的气象数据，预测的空气质量。图 3 表示了原数据集中，PM2.5 与气象数据的关系。图 4 表示了两段分类结果的分布信息。 0 10 000 20 000 30 000 40 000 时间/d 1 000 0 25 25 1 025 1 000 500 20 20 0 0 0 风速/ (m·s−1 ) 降雪量/ mm 降雨量/ mm −25 0 0 排放量/ (ug·m−3 ) 湿度/ °C 温度/ °C 气压/ hPa 图 3 原始数据集中的特征分布 Fig. 3 Frequency of features in this dataset 20 15 10 5 0 5 10 15 20 25 30 时刻天数/d 20 15 10 5 0 5 10 15 20 25 30 时刻天数/d (a) 2010-06 (b) 2011-06 ·1258· 智能系统学报第 14 卷

·1260· 智能系统学报第14卷行标记，得到新的分类代价。数。由此，代入假设条件，可以得到如图9的代价表2可知，使用三支决策算法进行判断的分曲线。类任务在代价优化上有显著作用。将代入三支决策算法结果如图9。由结果可表2使用三支决策的分类代价与未使用三支决策的分知，对于问题中给定时刻t,在t+12时，代价第一类代价对比次大于阈值α，故在6,1+12]时刻的数据是可信 Table 2 Compara of cost of classification between 3WD 的。同理，在[t+26时，预测代价第一次大于阈 and non-3WD 值B,所以从t+26时刻起，预测数据不再可信。代价 APP APB APN ANP ANE ANN 图10表示t与代价之间的关系。三支决策 07600 099001750 ×109 前置分类器0015201980003500 3.2国际旅行旅客人数数据集根据前述数据集的基本信息，将数据集进行 3 前期分类。图8为LSTM作为前置分类器的预测数据。取预测步长为3，预测网络两层，每层含 128个LSTM单元。 x103 6001 一原始数据 ·训练数据 1961-01 500 +测试数据时间 400，图9随t而代价越来越大的判断曲线入 Fig.9 Ast increases,the prediction results become more 300 and more inaccurate 200 ×10 6 一原始误差 …a上界 19491950195219541956195819601962 年份 nB上界 4 图8经过前置分类器的预测数据 Fig.8 Predict data after preprocessing 显然，随着时间推移，距预测点较远的点预测误差越大。在整个数据集上，前置分类器的测试数据均方误差为28.03。对于回归问题，由于没有直接的方式判断分 1958-01 1957.07 1958-07 1959.07 1959-01 1960-07 1960-01 1961-01 类的正误，本文使用均方误差来描述对应的置时间信度。由此，相应的代价函数可表示为图10代价判断决定的三支决策结果 1= ∑ww+b (12) Fig.10 Discarding costly predictions given by 3WD iElP.B.V).jelX.-X) 但是与前述判断规则(PIi、Bi、N)不同，此时的 4结束语分类不再是由有限的状态集合{X,X)描述，而是本文通过两个实验的验证，提出了基于由偏差E(⊙-和方差D(@组成的连续集合。 LSTM的三支决策分类算法。实验1在LSTM分所以，此时的代价，不再是确定的函数而是与由类的基础上，增加三支决策分类后明显地降低了均方差MSE(@描述的模型和距离预测点t的两决策风险：实验2在原先分类器中引入三支决策者组成的概率分布。后，也有了代价上的优化。实验表明：1)三支决 f(0t) (13) 策的决策准确率受前端分类器准确率的较大影式中：f为训练模型的偏差分布；为模型的均方响；2)三支决策算法可以结合深度学习模型解决差；tn为当前点距预测点的距离。代价敏感分类问题，而非仅限于非贝叶斯模型的本例中，为方便计算，假设分布∫为均匀分分类器；3)三支决策在解决代价敏感分类问题的布。此时，代价函数简化为只与时间n相关的函同时，可以通过扩展代价定义的方式，为回归模

行标记，得到新的分类代价。表 2 可知，使用三支决策算法进行判断的分类任务在代价优化上有显著作用。表 2 使用三支决策的分类代价与未使用三支决策的分类代价对比 Table 2 Compara of cost of classification between 3WD and non-3WD 代价 λPP λPB λPN λNP λNB λNN λ 三支决策 0 760 0 0 990 0 1 750 前置分类器 0 0 1 520 1 980 0 0 3 500 3.2 国际旅行旅客人数数据集根据前述数据集的基本信息，将数据集进行前期分类。图 8 为 LSTM 作为前置分类器的预测数据。取预测步长为 3，预测网络两层，每层含 128 个 LSTM 单元。 600 ×103 500 400 300 200 100 19501949 1952 1954 1956 1958 1960 1962 年份人数原始数据训练数据测试数据图 8 经过前置分类器的预测数据 Fig. 8 Predict data after preprocessing 显然，随着时间推移，距预测点较远的点预测误差越大。在整个数据集上，前置分类器的测试数据均方误差为 28.03。 θˆ 对于回归问题，由于没有直接的方式判断分类的正误，本文使用均方误差来描述对应的置信度。由此，相应的代价函数可表示为 λ = ∑ i∈{P,B,N}, j∈{X,¬X} λi, jwi, j +b (12) {X,¬X} E ( θˆ ) −θ D ( θˆ ) λi, j MSE( θˆ ) t 但是与前述判断规则 (Pli、Bli、Nli) 不同，此时的分类不再是由有限的状态集合描述，而是由偏差和方差组成的连续集合。所以，此时的代价不再是确定的函数而是与由均方差描述的模型和距离预测点的两者组成的概率分布。 λi, j ∼ f ( θˆ,tn ) (13) f θˆ tn 式中：为训练模型的偏差分布；为模型的均方差；为当前点距预测点的距离。 f tn 本例中，为方便计算，假设分布为均匀分布。此时，代价函数简化为只与时间相关的函数。由此，代入假设条件，可以得到如图 9 的代价曲线。 t t+12 α [t,t+12] [t+26] β t+26 t 将代入三支决策算法结果如图 9。由结果可知，对于问题中给定时刻，在时，代价第一次大于阈值，故在时刻的数据是可信的。同理，在时，预测代价第一次大于阈值，所以从时刻起，预测数据不再可信。图 10 表示与代价之间的关系。 5 6 4 3 2 1 0 1957-07 1958-01 1958-07 1959-01 1959-07 1960-01 1960-07 1961-01 相对代价时间 ×103 图 9 随 tn 而代价越来越大的判断曲线 λt Fig. 9 As tn increases, the prediction results become more and more inaccurate 5 6 4 3 2 1 0 1957-07 1958-01 1958-07 1959-01 1959-07 1960-01 1960-07 1961-01 相对代价时间原始误差 α上界 β上界 ×103 图 10 代价判断决定的三支决策结果 Fig. 10 Discarding costly predictions given by 3WD 4 结束语本文通过两个实验的验证，提出了基于 LSTM 的三支决策分类算法。实验 1 在 LSTM 分类的基础上，增加三支决策分类后明显地降低了决策风险；实验 2 在原先分类器中引入三支决策后，也有了代价上的优化。实验表明：1) 三支决策的决策准确率受前端分类器准确率的较大影响；2) 三支决策算法可以结合深度学习模型解决代价敏感分类问题，而非仅限于非贝叶斯模型的分类器；3) 三支决策在解决代价敏感分类问题的同时，可以通过扩展代价定义的方式，为回归模 ·1260· 智能系统学报第 14 卷

第6期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1261· 型建立可信度判据。结合三支决策理论，在时间 risk prediction using cost-sensitive with Nonnegativity- 序列分析问题中，三支决策模型可以为预测结果 constrained Autoencoders based on imbalanced naturalist- 增加可信度的判据，使得预测结果更加具有分析 ic driving data[J/OL].IEEE transactions on intelligent 和处理的价值。 transportation systems:(2019-01-17).https://ieeexplore. 但是当前的工作只是初步的验证有关于深度 ieee.org/document/8617709.DOI:10.1109/TITS.2018. 2886280. 学习与三支决策相结合形成新的代价敏感分类的 [8]YAO Yiyu.Three-way decision:an interpretation of rules 初步研究。本文的研究尚处于初步的阶段。未 in rough set theory[C]//Proceedings of the 4th Internation- 来，对于模型的改进仍有许多研究空间。例如， al Conference on Rough Sets and Knowledge Technology. 对于三支决策算法，可以结合新的边界理论，形 Gold Coast,Australia,2009:642-649. 成自动化的边界确定；在整体模型中，可以借助 [9]GERS F A,SCHMIDHUBER J,CUMMINS F.Learning boost或专家分类器等模型，提出更完善的理论； to forget:continual prediction with LSTM[J].Neural com- 以及结合Alex-net等其他更高效的分类器来进一 putation,2000,12(10):2451-2471. 步提高前置分类器的性能等。这些改进都将能够 [10]ELKAN C.The foundations of cost-sensitive learning 进一步提高三支决策在在代价敏感分类领域的应 [C]//Proceedings of the 17th International Joint Confer- 用频率。 ence of Artificial Intelligence.Morgan Kaufmann,Seattle, 2001:973-978 参考文献： [11]LIU Xuying,ZHOU Zhihua.The influence of class im- [1]KARIM F,MAJUMDAR S,DARABI H,et al.LSTM balance on cost-sensitive learning:an empirical study [Cl//Proceedings of the 6th International Conference on fully convolutional networks for time series classification Data Mining.Hong Kong,China,2006:970-974. [J.IEEE access,.2018,6:1662-1669 [12]ZADROZNY B,LANGFORD J,ABE N.Cost-sensitive [2]KARIM F.MAJUMDAR S.DARABI H.et al.Multivari- learning by cost-proportionate example weighting ate LSTM-FCNs for time series classification[J].Neural [C]//Proceedings of the 3rd IEEE International Confer- networks,2019,116:237-245. [3]KHAN S H,HAYAT M,BENNAMOUN M,et al.Cost- ence on Data Mining.Melbourne,FL,USA,2003: 435-442 sensitive learning of deep feature representations from im- balanced data[J].IEEE transactions on neural networks and 作者简介： learning systems,2018,29(8):3573-3587. 刘牧雷，男，1993年生，硕士研究 [4]FERNANDEZ A,GARCiA S,GALAR M,et al.Cost- 生，主要研究方向为三支决策、代价敏 sensitive learning[M]//FERNANDEZ A,GARCIA S. 感分类。 GALAR M,et al.Learning from Imbalanced Data Sets. Cham:Springer,2018:63-78 [5]YAN Ke,MA Lulu,DAI Yuting,et al.Cost-sensitive and sequential feature selection for chiller fault detection and diagnosis[J].International journal of refrigeration,2018, 徐菲菲，女，1983年生，副教授 86:401-409 中国计算机学会和中国人工智能学会会员，主要研究方向为粒计算理论、粗 [6]JIANG Xinxin,PAN Shirui,LONG Guodong,et al.Cost- 糙集理论、数据挖掘、人工智能与机器 sensitive parallel learning framework for insurance intelli- 学习。主持国家自然科学基金项目 gence operation[J].IEEE transactions on industrial elec- 1项：上海市教育发展基金会和上海 tronics,2019,66(12):9713-9723 市教育委员会“晨光计划”1项、上海市 [7]CHEN Jie,WU Zhongcheng,ZHANG Jun.Driving safety 教育委员会科研创新项目1项等

型建立可信度判据。结合三支决策理论，在时间序列分析问题中，三支决策模型可以为预测结果增加可信度的判据，使得预测结果更加具有分析和处理的价值。但是当前的工作只是初步的验证有关于深度学习与三支决策相结合形成新的代价敏感分类的初步研究。本文的研究尚处于初步的阶段。未来，对于模型的改进仍有许多研究空间。例如，对于三支决策算法，可以结合新的边界理论，形成自动化的边界确定；在整体模型中，可以借助 boost 或专家分类器等模型，提出更完善的理论；以及结合 Alex-net 等其他更高效的分类器来进一步提高前置分类器的性能等。这些改进都将能够进一步提高三支决策在在代价敏感分类领域的应用频率。参考文献： KARIM F, MAJUMDAR S, DARABI H, et al. LSTM fully convolutional networks for time series classification [J]. IEEE access, 2018, 6: 1662–1669. [1] KARIM F, MAJUMDAR S, DARABI H, et al. Multivariate LSTM-FCNs for time series classification[J]. Neural networks, 2019, 116: 237–245. [2] KHAN S H, HAYAT M, BENNAMOUN M, et al. Costsensitive learning of deep feature representations from imbalanced data[J]. IEEE transactions on neural networks and learning systems, 2018, 29(8): 3573–3587. [3] FERNÁNDEZ A, GARCÍA S, GALAR M, et al. Costsensitive learning[M]//FERNÁNDEZ A, GARCÍA S, GALAR M, et al. Learning from Imbalanced Data Sets. Cham: Springer, 2018: 63-78. [4] YAN Ke, MA Lulu, DAI Yuting, et al. Cost-sensitive and sequential feature selection for chiller fault detection and diagnosis[J]. International journal of refrigeration, 2018, 86: 401–409. [5] JIANG Xinxin, PAN Shirui, LONG Guodong, et al. Costsensitive parallel learning framework for insurance intelligence operation[J]. IEEE transactions on industrial electronics, 2019, 66(12): 9713–9723. [6] [7] CHEN Jie, WU Zhongcheng, ZHANG Jun. Driving safety risk prediction using cost-sensitive with Nonnegativityconstrained Autoencoders based on imbalanced naturalistic driving data[J/OL]. IEEE transactions on intelligent transportation systems: (2019-01-17). https://ieeexplore. ieee.org/document/8617709. DOI: 10.1109/TITS.2018. 2886280. YAO Yiyu. Three-way decision: an interpretation of rules in rough set theory[C]//Proceedings of the 4th International Conference on Rough Sets and Knowledge Technology. Gold Coast, Australia, 2009: 642–649. [8] GERS F A, SCHMIDHUBER J, CUMMINS F. Learning to forget: continual prediction with LSTM[J]. Neural computation, 2000, 12(10): 2451–2471. [9] ELKAN C. The foundations of cost-sensitive learning [C]//Proceedings of the 17th International Joint Conference of Artificial Intelligence. Morgan Kaufmann, Seattle, 2001: 973–978. [10] LIU Xuying, ZHOU Zhihua. The influence of class imbalance on cost-sensitive learning: an empirical study [C]//Proceedings of the 6th International Conference on Data Mining. Hong Kong, China, 2006: 970–974. [11] ZADROZNY B, LANGFORD J, ABE N. Cost-sensitive learning by cost-proportionate example weighting [C]//Proceedings of the 3rd IEEE International Conference on Data Mining. Melbourne, FL, USA, 2003: 435–442. [12] 作者简介：刘牧雷，男，1993 年生，硕士研究生，主要研究方向为三支决策、代价敏感分类。徐菲菲，女，1983 年生，副教授，中国计算机学会和中国人工智能学会会员，主要研究方向为粒计算理论、粗糙集理论、数据挖掘、人工智能与机器学习。主持国家自然科学基金项目 1 项；上海市教育发展基金会和上海市教育委员会“晨光计划”1 项、上海市教育委员会科研创新项目 1 项等。第 6 期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1261·