第6期 刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257· LSTM的独特结构是为了使其能够解决长期 错误分类的代价；P(x)表示算法将x划分至类别 依赖问题而专门设计的。不同于RNN网络， j的概率；c(亿，》表示将i分类划分至j所产生的 LSTM的重复结构是由更加复杂的3个门相互连 代价。 接而成。包括遗忘门、输人门与输出门。 对于每个类别i,L(x,)表示x所有可能的划 式(4)(9)描述了细胞内各个门的处理流程。 分结果的代价的概率和。故由式(10)知，当分类 f=(W[h-1,x:]+b) (4) 代价最小时，其分类结果P(x)不一定取到最大 i=r(W[h-1,+b) (5) 值。即为了得到更小的分类代价，可能会放弃最 C,tanh(Wc.[h-1.x]+bc) (6) 大的分类结果。 C:=f-C-+iC (7) 在如何使算法获得倾向性的问题上，有两种 o=c(W。·[h-1,x]+bo) (8) 经典算法：1)通过预处理，使算法对某些结果具 h =o-tanh (C) (9) 式(4)描述了遗忘门决定了当细胞更新时细 有敏感性，此方法称为rescaling;2)希望通过以 胞状态会丢弃什么信息。该门会读取h-1和x, 代价为基准修改不同分类在算法中的成员可能 输出在[0，)之间的数值与原先细胞状态C-1相 性，从而产生不同的倾向性。此方法称为rewei-- 结合。其中，1表示完全保留，0表示完全遗忘。 ghted。 其中，h-1表示上一个细胞的输出，x表示当前细 2基于LSTM的三支决策分类算法 胞的输入，c表示sigmod函数。 式(5)描述输入门决定了让多少新的信息 基于三支决策的LSTM算法在原有的 加入到细胞状态中。第一步，细胞输入x与细胞 LSTM基础上，增加了三支决策步骤，对前端分类 的上个输出h,-1会通过sigmod元来决定更新的 器给出的预测结果做出接受、拒绝、延迟3种不 内容。 同的方案，算法流程如图2所示。 式(6)描述了更新内容C。与式（⑤）同时，同 样的输入会通过一个tanh元，生成备用的更新内 容C。 前瓷分类器 式(7)描述了更新内容C,。将式(5)与式 延迟 (6两部分结果相乘，将细胞状态由C-1更新至C。 最终输出数据由式(8)的输出与当前细胞状 拒绝 态的一部分共同决定输出的最终值，如式(9)描述。 以上为LSTM模型的基本工作流。 图2基于LSTM的三支决策算法流程 Fig.2 Flow of 3WD based on LSTM 1.3代价敏感分类 一般的，对于分类算法的研究的核心与重点 算法包括两部分：1)前置分类器，用于初步 为如何取得更高的分类准确率，但事实上，只要 分类：2)三支决策，考虑决策风险，通过算法的判 有误差存在，分类过程总会产生代价。而代价敏 断降低决策风险。 感分类就是关注如何使分类过程中产生的代价最 2.1前置分类器 小。根据问题的难易程度，代价敏感问题常被分 前置分类器的作用主要体现在前置分类器的 为二分类与多分类问题。对于二分类问题，目前 分类精度最终决定了整体上的分类效果。此后的 大部分的代价敏感分类多是从非代价敏感分类算 三支决策对前置分类器的分类结果做出评判，决 法加以转化得到的。 定接受、拒绝、或者延迟推断。对于LSTM分类 结合上述，可将代价敏感分类等价于一个优 器，主要用来解决分类和时序问题预测。输出包 化问题：将实例使用分类算法A划分至类别1时， 括预测结果C和预测的分类概率p。分类概率p 使损失函数L(x,)达到最小o: 用于下一步中三支决策算法来判断是否采纳分类 Lx.=∑PUc6, (10) 结果。 2.2三支决策 式中：x表示一个实例；L(,)表示x的类别为i时 三支决策对前置分类器给出的结果进行分LSTM 的独特结构是为了使其能够解决长期 依赖问题而专门设计的。不同 于 RNN 网络， LSTM 的重复结构是由更加复杂的 3 个门相互连 接而成。包括遗忘门、输入门与输出门。 式 (4)~(9) 描述了细胞内各个门的处理流程。 ft = σ ( Wf ·[ht−1, xt]+bf ) (4) it = σ(Wi ·[ht−1, xt]+bi) (5) Cet = tanh(WC ·[ht−1 , xt]+bC) (6) Ct = ft ·Ct−1 +it ·Cet (7) ot = σ(Wo ·[ht−1, xt]+bo) (8) ht = ot ·tanh(Ct) (9) ht−1 xt [0,1] Ct−1 ht−1 xt σ 式 (4) 描述了遗忘门决定了当细胞更新时细 胞状态会丢弃什么信息。该门会读取 和 ， 输出在 之间的数值与原先细胞状态 相 结合。其中，1 表示完全保留，0 表示完全遗忘。 其中， 表示上一个细胞的输出， 表示当前细 胞的输入， 表示 sigmod 函数。 xt ht−1 式 (5) 描述输入门决定了让多少新的信息 加入到细胞状态中。第一步，细胞输入 与细胞 的上个输出 会通过 sigmod 元来决定更新的 内容。 Cet Cet 式 (6) 描述了更新内容 。与式 (5) 同时，同 样的输入会通过一个 tanh 元，生成备用的更新内 容 。 Ct Ct−1 Ct 式 (7) 描述了更新内容 。将式 (5) 与式 (6) 两部分结果相乘，将细胞状态由 更新至 。 最终输出数据由式 (8) 的输出与当前细胞状 态的一部分共同决定输出的最终值，如式 (9) 描述。 以上为 LSTM 模型的基本工作流。 1.3 代价敏感分类 一般的，对于分类算法的研究的核心与重点 为如何取得更高的分类准确率，但事实上，只要 有误差存在，分类过程总会产生代价。而代价敏 感分类就是关注如何使分类过程中产生的代价最 小。根据问题的难易程度，代价敏感问题常被分 为二分类与多分类问题。对于二分类问题，目前 大部分的代价敏感分类多是从非代价敏感分类算 法加以转化得到的。 A I L(x,i) 结合上述，可将代价敏感分类等价于一个优 化问题: 将实例使用分类算法 划分至类别 时， 使损失函数 达到最小[10] ： L(x,i) = ∑ j P(j|x) c (i, j) (10) 式中：x 表示一个实例； L(x,i) 表示 x 的类别为 i 时 P(j|x) x j c (i, j) i j 错误分类的代价； 表示算法将 划分至类别 的概率； 表示将 分类划分至 所产生的 代价。 i L(x,i) x P(j|x) 对于每个类别 ， 表示 所有可能的划 分结果的代价的概率和。故由式 (10) 知，当分类 代价最小时，其分类结果 不一定取到最大 值。即为了得到更小的分类代价，可能会放弃最 大的分类结果。 在如何使算法获得倾向性的问题上，有两种 经典算法：1) 通过预处理，使算法对某些结果具 有敏感性，此方法称为 rescaling[11] ；2) 希望通过以 代价为基准修改不同分类在算法中的成员可能 性，从而产生不同的倾向性。此方法称为 rewei￾ghted[12]。 2 基于 LSTM 的三支决策分类算法 基于三支决策 的 LST M 算法在原有 的 LSTM 基础上，增加了三支决策步骤，对前端分类 器给出的预测结果做出接受、拒绝、延迟 3 种不 同的方案，算法流程如图 2 所示。 分类 三支决策 结果 前置分类器 延迟 拒绝 接受 图 2 基于 LSTM 的三支决策算法流程 Fig. 2 Flow of 3WD based on LSTM 算法包括两部分：1) 前置分类器，用于初步 分类；2) 三支决策，考虑决策风险，通过算法的判 断降低决策风险。 2.1 前置分类器 C p p 前置分类器的作用主要体现在前置分类器的 分类精度最终决定了整体上的分类效果。此后的 三支决策对前置分类器的分类结果做出评判，决 定接受、拒绝、或者延迟推断。对于 LSTM 分类 器，主要用来解决分类和时序问题预测。输出包 括预测结果 和预测的分类概率 。分类概率 用于下一步中三支决策算法来判断是否采纳分类 结果。 2.2 三支决策 三支决策对前置分类器给出的结果进行分 第 6 期 刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257·