·1112· 智能系统学报 第16卷 温度残差重构具体步骤为： D:(OllP)=E,-0 n 2) =DKL(OlIP) 1)将主轴承发生故障前一个月的SCADA特 P(y) 征数据输入至基于LightGBM的主轴承温度预测 如果得分规则定义为CRPS(连续概率排位分 模型，计算得到一个月内的主轴承异常机组温度 数)，则 残差。 C(0.y)=Fdz+[(1-FMDYdz 2)采用SPC控制图将主轴承异常机组残差 在控制范围内的正常温度残差数据剔除。 式中F为累计概率分布函数。本来定义CRPS为 3)定义控制线之外的残差数据为训练样本数 C)-(F-FPdz 据，采用AC-GAN算法生成与真实样本数据分布 式中：F(a)为真实的累计概率分布，当预测分布 相似的残差数据，用来重构剔除的正常温度残差 与真实分布完全一致时，CRPS为零。预测分布 2)中别除的正常温度残差。 过于集中，过于分散，或者偏离观测值太远时都 会导致CRPS增大。但是，真实概率分布未知，只 5基于NGBoost的主轴承运行状态 能通过一系列观察数据的累计分布来定义，故有 决策 C(0,y),对应的散度为 NGBoost算法由斯坦福吴恩达团队在2019 Dc(0.y)=E,-o[C(P.y)]-E,-o[C(Q.y)]= 年10月提出的，最初是用于预测不确定性估计的 J(F,(-F.(dx 天气预测和医疗保健等领域。该算法使用自然 CRPS对于真实概率，其值最小，散度非负，度 梯度的Boosting方法，这种方法可直接在输出空 量分布距离符合规则的定义要求。对于选择的得 间中得到全概率分布，用于预测量化不确定性。 分规则S(0,满足EVS()]=0,对L关于0求导有 NGBoost算法区别于其他Boosting算法是因为该 7S(0,y)+EV2S(0]=0 算法可以返回每个预测的概率分布，NGBoost通 最终的梯度为 过预测参数0，产生概率密度为Pox)的概率预 S(0,y)=(EV2S])）-17S(0) 测。NGBoost使用自然梯度来学习参数，使得优化 对于MF,有 问题不受参数化的影响，随后在GBM的框架下 L(0,y=E[-L(0,y)-1VS(0,y) 让每个基学习器去拟合自然梯度，最后经过放缩 对于CRPS,有 和加权组合，得到一个集成模型的参数，由此可 以学习最终条件分布参数，从而达到概率预测的 VC.)-2V,FOV,FMYdzVc.) 目的。NGBoost作为一种梯度提升算法，使用自 风电机组的主轴承温度残差同样是一种不确 然梯度(natural gradient)解决现有梯度提升方法 定估计，对主轴承状态监测实质也是一种故障发 难以处理的通用概率预测的技术难题，NGBoost 生不确定性的概率预测，因此可利用该算法建立 在不确定性估计和传统指标上的预测能力具有相 主轴承运行状态决策模型。 当大的优势。 为使降低故障决策中单点误报，获得较高的 对于自然梯度，首先定义得分规则为S,这个得 预测准确度，本文按天提取主轴承温度残差的最 分规则与概率分布P和输出值y相关，记为S(P,y)。 大值、最小值、均值、偏度、峰度、中位数、方差、 对于正确的概率分布，并期望取得最佳值，概率 标准差8个特征，将主轴承正常机组的温度残差 预测越准确，损失越小，故有 标签设置为0，主轴承异常机组重构的温度残差 E,-o[S(Q.y)]<E,-o[S(P.y)],YP.Q 标签设置为1。 式中：Q为正确的概率分布；P为预测的概率分 布。定义得分规则的散度： 6实例应用验证 Ds(OIP)=E,-o[S(P.y)]-E,-o[S(2.y)] 本实验所采用的SCADA数据为河北某风电 得分规则定义需要使得散度非负，并且能够测 场的历史数据。选取机组编号为07#、09#、23#、 量分布间的距离。如果得分规则定义为MF,则 31#、32#、41#、14#、11#、71#、81#,10台主轴承正 S=L(0,y)=-In Po(y) 常机组，选取编号为69#、37#、84#、88#、99#、 最大似然估计函数∑n(P》取得最大值， 15#、96#、86#、13#、70#的10台主轴承异常机组， 同时使得散度变为KL散度，即 共计20台机组。通过基于LightGBM的主轴承温温度残差重构具体步骤为： 1) 将主轴承发生故障前一个月的 SCADA 特 征数据输入至基于 LightGBM 的主轴承温度预测 模型，计算得到一个月内的主轴承异常机组温度 残差。 2) 采用 SPC 控制图将主轴承异常机组残差 在控制范围内的正常温度残差数据剔除。 3) 定义控制线之外的残差数据为训练样本数 据，采用 AC-GAN 算法生成与真实样本数据分布 相似的残差数据，用来重构剔除的正常温度残差 2) 中剔除的正常温度残差。 5 基于 NGBoost 的主轴承运行状态 决策 Pθ(y|x) NGBoost 算法由斯坦福吴恩达团队在 2019 年 10 月提出的，最初是用于预测不确定性估计的 天气预测和医疗保健等领域[24]。该算法使用自然 梯度的 Boosting 方法，这种方法可直接在输出空 间中得到全概率分布，用于预测量化不确定性。 NGBoost 算法区别于其他 Boosting 算法是因为该 算法可以返回每个预测的概率分布，NGBoost 通 过预测参数 θ，产生概率密度为 的概率预 测。NGBoost 使用自然梯度来学习参数，使得优化 问题不受参数化的影响，随后在 GBM 的框架下 让每个基学习器去拟合自然梯度，最后经过放缩 和加权组合，得到一个集成模型的参数，由此可 以学习最终条件分布参数，从而达到概率预测的 目的。NGBoost 作为一种梯度提升算法，使用自 然梯度 (natural gradient) 解决现有梯度提升方法 难以处理的通用概率预测的技术难题，NGBoost 在不确定性估计和传统指标上的预测能力具有相 当大的优势[25]。 S P y S (P, y) 对于自然梯度，首先定义得分规则为 ，这个得 分规则与概率分布 和输出值 相关，记为 。 对于正确的概率分布，并期望取得最佳值，概率 预测越准确，损失越小，故有 Ey∼Q[S (Q, y)] ⩽ Ey∼Q[S (P, y)], ∀P,Q 式中： Q 为正确的概率分布； P 为预测的概率分 布。定义得分规则的散度： DS (Q||P) = Ey∼Q[S (P, y)]− Ey∼Q[S (Q, y)] 得分规则定义需要使得散度非负，并且能够测 量分布间的距离。如果得分规则定义为 MIF，则 S = L(θ, y) =∑−lnPθ(y) 最大似然估计函数 ln(Pθ(y)) 取得最大值， 同时使得散度变为 KL 散度，即 DL(Q||P) = Ey∼Q [ ln Q(y) P(y) ] = DKL(Q||P) 如果得分规则定义为 CRPS(连续概率排位分 数)，则 C(θ, y) = w y −∞ Fθ(z) 2 dz+ w ∞ y (1− Fθ(z))2 dz 式中 F 为累计概率分布函数。本来定义 CRPS 为 C real(θ, y) = w ∞ −∞ (Fθ(z)−F Q θ (z))2 dz F Q θ (z) C(θ, y) 式中： 为真实的累计概率分布，当预测分布 与真实分布完全一致时，CRPS 为零。预测分布 过于集中，过于分散，或者偏离观测值太远时都 会导致 CRPS 增大。但是，真实概率分布未知，只 能通过一系列观察数据的累计分布来定义，故有 ，对应的散度为 DC(θ, y) = Ey∼Q[C(P, y)]− Ey∼Q[C(Q, y)] = w ∞ −∞ (Fθ(x)−FP(x))2 dx S (θ) E[∇S (θ)] = 0 L θ CRPS 对于真实概率，其值最小，散度非负，度 量分布距离符合规则的定义要求。对于选择的得 分规则 ,满足 ,对 关于 求导有 ∇S (θ, y)+E[∇ 2 S (θ)] = 0 最终的梯度为 ∇˜ S (θ, y) = (E[∇ 2 S ])−1∇S (θ) 对于 MIF，有 ∇˜ L(θ, y) = E[−∇2 θL(θ, y)]−1∇S (θ, y) 对于 CRPS,有 ∇˜C(θ, y) = [ 2 w ∞ −∞ ∇θFθ(z)∇θFθ(z) T dz ]−1 ∇C(θ, y) 风电机组的主轴承温度残差同样是一种不确 定估计，对主轴承状态监测实质也是一种故障发 生不确定性的概率预测，因此可利用该算法建立 主轴承运行状态决策模型。 为使降低故障决策中单点误报，获得较高的 预测准确度，本文按天提取主轴承温度残差的最 大值、最小值、均值、偏度、峰度、中位数、方差、 标准差 8 个特征，将主轴承正常机组的温度残差 标签设置为 0，主轴承异常机组重构的温度残差 标签设置为 1。 6 实例应用验证 本实验所采用的 SCADA 数据为河北某风电 场的历史数据。选取机组编号为 07#、09#、23#、 31#、32#、41#、14#、11#、71#、81#，10 台主轴承正 常机组，选取编号为 69#、37#、84#、88#、99#、 15#、96#、86#、13#、70#的 10 台主轴承异常机组， 共计 20 台机组。通过基于 LightGBM 的主轴承温 ·1112· 智 能 系 统 学 报 第 16 卷