第13卷第4期 智能系统学报 Vol.13 No.4 2018年8月 CAAI Transactions on Intelligent Systems Aug.2018 D0:10.11992/tis.201708033 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180403.1433.004html 快速双非凸回归算法及其电力数据预测应用 王锋华，成敬周，文凡2 (1.国网浙江省电力公司，浙江杭州310000：2.国网浙江省电力公司经济技术研究院，浙江杭州310000) 摘要：为适应产能输出、运营效益等电力数据预测应用，文中提出一种快速双非凸回归(double nonconvex re gression,.DNR)预测算法。首先，将经典稀疏编码分类技术解释为预测回归模型，并划分为训练阶段和测试阶 段，使之适合标量预测应用；其次，针对经典Lasso模型存在的稀疏性不足以及噪声拟合单一问题，该算法通过 1,范数约束逼近原始稀硫编码问题的误差重构项和系数正则项，具有更为灵活的模型形式和应用范围。最后， 通过交替方向乘子框架实现了重构系数的优化升级策略。为确保ADMM优化子问题具有快速解，提出一种改 进的迭代阈值规则用于更新非凸约束项，解决了原始算法陷入的局部最优问题。在电力企业实际运行产出 和运营指标数据上的实验结果表明，DNR在预测效果和预测效率上均优于经典的支持向量机、BP神经网络以 及非凸约束预测方法。 关键词：交替方向乘子法；电力数据预测：，范数约束；迭代阈值方法 中图分类号：TP18:TM715文献标志码：A文章编号：1673-4785(2018)04-0665-08 中文引用格式：王锋华，成敬周，文凡.快速双非凸回归算法及其电力数据预测应用J.智能系统学报，2018,13(4)： 665-672. 英文引用格式：VANG Fenghua,CHENG Jingzhou,WEN Fan.Fast double nonconvex regression algorithm for forecast of electric power data[J].CAAI transactions on intelligent systems,2018,13(4):665-672. Fast double nonconvex regression algorithm for forecast of electric power data WANG Fenghua',CHENG Jingzhou',WEN Fan2 (1.State Grid Zhejiang Electric Power Company,Hangzhou 310000,China;2.Economic Research Institute,State Grid Zhejiang Electric Power Company,Hangzhou 310000,China) Abstract:In this paper,we propose a new forecasting algorithm called double nonconvex regression(DNR)for the fast forecast of electricity power data such as the outputs of production ability and operational benefit.First,we reinterpret the typical sparse coding classification method as a regression model for forecasting,and further divide the model into training and testing phases to fit scalar-quantity forecasts.Next,we transform the constraints of representation residuals and coefficient regularization into a nonconvex norm for better approximation and broader application.Lastly,we ad- opt the alternating direction method of multipliers algorithm to optimize the formulated forecast problem.To achieve a fast update rule for norm constrained subproblems,we propose a new iterative threshold method that avoids the local minimum issue.Compared with typical methods such as the SVM,BP neural network,and nonconvex regularization methods,the proposed algorithm achieves surprisingly good experimental results for electricity power data. Keywords:alternating direction method of multiplier(ADMM);forecast of electric power data;norm constraint;iter- ative threshold method 收稿日期：2017-08-31.网络出版日期：2018-04-03， 电网是加快工业进步、提高居民生活质量、 基金项目：国家电网浙江省电力公司科技项目(5211JY15001V): 国家电网公司科技项目(5211011600RJ). 保持社会稳定健康发展的基础。因此，电网的发 通信作者：王峰华.E-mail:wangfenghua0627@126.com. 展具有重要的意义。电网企业的责任是确保安
DOI: 10.11992/tis.201708033 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180403.1433.004.html 快速双非凸回归算法及其电力数据预测应用 王锋华1 ，成敬周1 ，文凡2 （1. 国网浙江省电力公司，浙江 杭州 310000; 2. 国网浙江省电力公司 经济技术研究院，浙江 杭州 310000） 摘 要：为适应产能输出、运营效益等电力数据预测应用，文中提出一种快速双非凸回归 (double nonconvex regression，DNR) 预测算法。首先，将经典稀疏编码分类技术解释为预测回归模型，并划分为训练阶段和测试阶 段，使之适合标量预测应用；其次，针对经典 Lasso 模型存在的稀疏性不足以及噪声拟合单一问题，该算法通过 lp 范数约束逼近原始稀疏编码问题的误差重构项和系数正则项，具有更为灵活的模型形式和应用范围。最后， 通过交替方向乘子框架实现了重构系数的优化升级策略。为确保 ADMM 优化子问题具有快速解，提出一种改 进的迭代阈值规则用于更新非凸 lp 约束项，解决了原始算法陷入的局部最优问题。在电力企业实际运行产出 和运营指标数据上的实验结果表明，DNR 在预测效果和预测效率上均优于经典的支持向量机、BP 神经网络以 及非凸约束预测方法。 关键词：交替方向乘子法；电力数据预测；lp 范数约束；迭代阈值方法 中图分类号：TP18;TM715 文献标志码：A 文章编号：1673−4785(2018)04−0665−08 中文引用格式：王锋华, 成敬周, 文凡. 快速双非凸回归算法及其电力数据预测应用[J]. 智能系统学报, 2018, 13(4): 665–672. 英文引用格式：WANG Fenghua, CHENG Jingzhou, WEN Fan. Fast double nonconvex regression algorithm for forecast of electric power data[J]. CAAI transactions on intelligent systems, 2018, 13(4): 665–672. Fast double nonconvex regression algorithm for forecast of electric power data WANG Fenghua1 ，CHENG Jingzhou1 ，WEN Fan2 (1. State Grid Zhejiang Electric Power Company, Hangzhou 310000, China; 2. Economic Research Institute, State Grid Zhejiang Electric Power Company, Hangzhou 310000, China) Abstract: In this paper, we propose a new forecasting algorithm called double nonconvex regression (DNR) for the fast forecast of electricity power data such as the outputs of production ability and operational benefit. First, we reinterpret the typical sparse coding classification method as a regression model for forecasting, and further divide the model into training and testing phases to fit scalar-quantity forecasts. Next, we transform the constraints of representation residuals and coefficient regularization into a nonconvex lp norm for better approximation and broader application. Lastly, we adopt the alternating direction method of multipliers algorithm to optimize the formulated forecast problem. To achieve a fast update rule for lp norm constrained subproblems, we propose a new iterative threshold method that avoids the local minimum issue. Compared with typical methods such as the SVM, BP neural network, and nonconvex regularization methods, the proposed algorithm achieves surprisingly good experimental results for electricity power data. Keywords: alternating direction method of multiplier (ADMM); forecast of electric power data; lp norm constraint; iterative threshold method 电网是加快工业进步、提高居民生活质量、 保持社会稳定健康发展的基础。因此，电网的发 展具有重要的意义。电网企业的责任是确保安 收稿日期：2017−08−31. 网络出版日期：2018−04−03. 基金项目：国家电网浙江省电力公司科技项目 (5211JY15001V)； 国家电网公司科技项目 (5211011600RJ). 通信作者：王峰华. E-mail：wangfenghua0627@126.com. 第 13 卷第 4 期 智 能 系 统 学 报 Vol.13 No.4 2018 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2018
·666✉ 智能系统学报 第13卷 全、经济、清洁和可持续的能源供应，从而为社 convex regression,.DNR)算法用于标量电力数据预 会、经济的健康发展，人民生活水平的逐步提高 测。该方法首先将稀疏编码技术转化为回归预 保驾护航。其中，产能输出和运营指标管理作为 测应用，再采用1，范数替换原始的重构误差2范 电网企业经营活动的中枢，是企业发展的重中之 数以及表示系数，范数等约束，以获得更为灵活 重，能对企业整体运营状况、管控经营、监控战略 的模型目标泛函形式。最后，利用交替方向乘子 产生实效。此外，通过挖掘数据资产的潜在价 (alternating direction method of multipliers, 值，不仅能提升企业各部门的专业管理能力，而 ADMM)优化求解目标函数；其中，为获得快速 且还能促进企业安全、有序、健康、高效地运营， 的子问题优化效果，提出一种改进的迭代阈值方 对决策制定发挥重要的辅助作用。然而，确定和 法用于求解，约束子问题，保证全局最优解并可 下达经营决策的合理性取决于预测这些指标未来 实现并行实施方案。在电网企业运行运营指标真 变化情况的准确性，由于预测电网企业运行运营 实数据上的实验结果表明该方法切实可行，且具 指标是面向未来的，且影响指标变化的因素较 有很高的预测精度。 多，因此预测过程具有很大的随机性和不确定 性。结合电网企业的实际情况设计合适的预测方 1双非凸回归算法 法，将直接关系到预测实施的精度。 稀疏编码技术已在模式识别领域得到广泛 目前，常用的传统预测方法有指数平滑法 的应用，其通过误差平方最小化和稀疏性范数约 (exponential smoothing,ES)、线性回归分析法 束搜寻目标量的最佳逼近系数。原始的稀疏回归 (linear regression analysis,LRA)、时间序列法 模型可以描述为 (time series method,.TS)等，ES认为时间序列的 minlix -Aallz+allallo (1) 态势具有稳定性或规则性，所以时间序列可被合 式中：x∈Rm1、A∈Rm“和aER!分别表示查询 理地顺势推延，且它认为最近的过去态势，在某 向量、观测矩阵和表示系数，伪范数。用于计算 种程度上会持续到未来，所以将较大的权数放在 系数矢量a的非零值个数。在分类问题中，式 最近的资料上。LRA利用称为线性回归方程的 (I)的具体意义为：观测数据A包含n个m维特征 最小平方函数对一个或多个自变量和因变量之间 样本，未知样本x通过表示系数a进行重构，要 的关系进行建模的一种回归分析。TS则通过编 求α具有有限个非零元素且对应于同类观测样 制和分析时间序列，根据时间序列所反映出来的 本。然而，在电力数据预测（或称为回归）问题 发展过程、方向和趋势，进行类推或延伸，借以预 中，常见的数据如电力产能、运营利润等都是标 测下一段时间或以后若干年内可能达到的水平。 量值，而影响其具体取值的特征量为矢量形式。 虽然这些传统方法在预测应用中略有成效，但是 因此，本文将式(I)转化为回归问题，即x∈R 它们预测对象单一、过度依赖历史数据，且无法 表示m个已知目标样本，A∈Rm*"表示m个观测 考虑到未来预测过程中存在的不确定性因素。 特征样本，每个样本的维数为n,而系数a∈Rxd 因此，针对以上问题，一些学者尝试将神经网 则表示每个特征子元素的重构贡献度。通过训练 络应用到预测中去，使得预测系统具有一定的智 样本计算得到最优的α系数，可用于预测任意未 能信息处理能力，取得了不错的预测效果。但 知特征样本a为=aa。 是，由于神经网络采用的是经验风险最小化原 遗憾的是，受1。伪范数约束影响，最小化式 则，容易陷入局部极小点且收敛速度慢，这极大 (1)是一个NP难问题，仅能在有限样本集中运行 地限制了该方法在实际过程中的应用。基于支持 实施m。一般将之调整为Lasso问题，即通过l,范 向量机的预测模型很好地克服了神经网络的这 数替换1，范数 一缺点，SVM采用结构风险最小化原则，整个求 min llx-Aal +alall (2) 解过程转化为凸二次规划问题，能得到全局最优 已有理论表明，在一定的不连贯条件下四 解。但是，由于SVM是借助二次规划来求解支 1最小化问题很大概率等价于1。最小化问题。而 持向量，而求解二次规划将涉及m阶矩阵的计算 且，1，范数是最逼近于。范数的凸约束形式，有利 (m为样本的个数)，当m数目很大时该矩阵的存 于模型的优化求解。 储和计算将耗费大量的机器内存和运算时间。因 此外，式(1)和式(2)中所采用的1，范数最小 此，其不适用于大规模训练样本。 化重构误差仅适合于高斯分布噪声环境⑧。为 为此，本文提出一种双非凸回归(double non- 适应特定的样本或特征干扰，常采用等价于拉普
全、经济、清洁和可持续的能源供应，从而为社 会、经济的健康发展，人民生活水平的逐步提高 保驾护航。其中，产能输出和运营指标管理作为 电网企业经营活动的中枢，是企业发展的重中之 重，能对企业整体运营状况、管控经营、监控战略 产生实效。此外，通过挖掘数据资产的潜在价 值，不仅能提升企业各部门的专业管理能力，而 且还能促进企业安全、有序、健康、高效地运营， 对决策制定发挥重要的辅助作用。然而，确定和 下达经营决策的合理性取决于预测这些指标未来 变化情况的准确性，由于预测电网企业运行运营 指标是面向未来的，且影响指标变化的因素较 多，因此预测过程具有很大的随机性和不确定 性。结合电网企业的实际情况设计合适的预测方 法，将直接关系到预测实施的精度。 目前，常用的传统预测方法有指数平滑法 (exponential smoothing，ES)[1] 、线性回归分析法 (linear regression analysis，LRA)[2] 、时间序列法 (time series method，TS)[3]等，ES 认为时间序列的 态势具有稳定性或规则性，所以时间序列可被合 理地顺势推延，且它认为最近的过去态势，在某 种程度上会持续到未来，所以将较大的权数放在 最近的资料上。LRA 利用称为线性回归方程的 最小平方函数对一个或多个自变量和因变量之间 的关系进行建模的一种回归分析。TS 则通过编 制和分析时间序列，根据时间序列所反映出来的 发展过程、方向和趋势，进行类推或延伸，借以预 测下一段时间或以后若干年内可能达到的水平。 虽然这些传统方法在预测应用中略有成效，但是 它们预测对象单一、过度依赖历史数据，且无法 考虑到未来预测过程中存在的不确定性因素。 因此，针对以上问题，一些学者尝试将神经网 络应用到预测中去，使得预测系统具有一定的智 能信息处理能力，取得了不错的预测效果。但 是，由于神经网络采用的是经验风险最小化原 则，容易陷入局部极小点且收敛速度慢，这极大 地限制了该方法在实际过程中的应用。基于支持 向量机的预测模型[4]很好地克服了神经网络的这 一缺点，SVM 采用结构风险最小化原则，整个求 解过程转化为凸二次规划问题，能得到全局最优 解。但是，由于 SVM 是借助二次规划来求解支 持向量，而求解二次规划将涉及 m 阶矩阵的计算 (m 为样本的个数)，当 m 数目很大时该矩阵的存 储和计算将耗费大量的机器内存和运算时间。因 此，其不适用于大规模训练样本。 为此，本文提出一种双非凸回归 (double nonconvex regression，DNR) 算法用于标量电力数据预 测。该方法首先将稀疏编码技术[5]转化为回归预 测应用，再采用 lp 范数替换原始的重构误差 l2 范 数以及表示系数 l1 范数等约束，以获得更为灵活 的模型目标泛函形式。最后，利用交替方向乘子 法 (alternating direction method of multipliers， ADMM)[6]优化求解目标函数；其中，为获得快速 的子问题优化效果，提出一种改进的迭代阈值方 法用于求解 lp 约束子问题，保证全局最优解并可 实现并行实施方案。在电网企业运行运营指标真 实数据上的实验结果表明该方法切实可行，且具 有很高的预测精度。 1 双非凸回归算法 稀疏编码技术[5]已在模式识别领域得到广泛 的应用，其通过误差平方最小化和稀疏性范数约 束搜寻目标量的最佳逼近系数。原始的稀疏回归 模型可以描述为 min∥x− Aα∥ 2 2 +λ∥α∥0 (1) 式中：x∈R m×1 、A∈R m×n 和 α∈R n×1 分别表示查询 向量、观测矩阵和表示系数，伪范数||·||0 用于计算 系数矢量 α 的非零值个数。在分类问题中，式 (1) 的具体意义为：观测数据 A 包含 n 个 m 维特征 样本，未知样本 x 通过表示系数 α 进行重构，要 求 α 具有有限个非零元素且对应于同类观测样 本。然而，在电力数据预测 (或称为回归) 问题 中，常见的数据如电力产能、运营利润等都是标 量值，而影响其具体取值的特征量为矢量形式。 因此，本文将式 (1) 转化为回归问题，即 x∈R m×1 表示 m 个已知目标样本，A∈R m×n 表示 m 个观测 特征样本，每个样本的维数为 n，而系数 α∈R n×1 则表示每个特征子元素的重构贡献度。通过训练 样本计算得到最优的 α 系数，可用于预测任意未 知特征样本 a 为 y=a T α。 遗憾的是，受 l0 伪范数约束影响，最小化式 (1) 是一个 NP 难问题，仅能在有限样本集中运行 实施[7]。一般将之调整为 Lasso 问题，即通过 l1 范 数替换 l0 范数 min∥x− Aα∥ 2 2 +λ∥α∥1 (2) 已有理论表明，在一定的不连贯条件下[ 7 ] ， l1 最小化问题很大概率等价于 l0 最小化问题。而 且，l1 范数是最逼近于 l0 范数的凸约束形式，有利 于模型的优化求解。 此外，式 (1) 和式 (2) 中所采用的 l2 范数最小 化重构误差仅适合于高斯分布噪声环境[8-9]。为 适应特定的样本或特征干扰，常采用等价于拉普 ·666· 智 能 系 统 学 报 第 13 卷
第4期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·667· 拉斯分布的范数约束进行误差最小化，即 子系数。根据ADMM变量分离规则，式(6)包含 min-Al+lall (3) 以下迭代步骤： 然而，当矩阵A的不连贯条件无法满足，或 1)固定a和yB,B1的更新子问题为 重构误差并不适应于常规的高斯分布或拉普拉斯 B+1=arg min L (B.a,Y8)= 分布时，模型(3)的求解结果往往是次优的。针 (7) 对此问题，本文采用1。范数(p∈(0,1])替换式 26跳+B-a-6 (3)中的1，范数约束，即 2)固定a和，e1的更新子问题为 minllix -Aallg+allalle (4) ex+i=argmin L (e,a,ye)= 为便于区分，在重构误差中以符号9表示 le+le-x+Aa-六6 (8) ,范数约束。式(4)为本文所提回归模型的目标 函数，对误差项和正则项都采用非凸函数约束， 3)固定e、B、.和g,a1的更新子问题为 因此称之为双非凸回归算法(double nonconvex re- ax1=arg minL (e,B.Ye.Y8)= gression,DNR),其中对a约束I范数较I,更接近 (9) 于1o,使得重构系数a具有更强的稀疏性；对误差 告a-+e监8+学加-B+2 约束1，范数使之更贴近于椭圆分布0，具有较高 4)根据计算所得的B、e和a1,更新%.和g 斯分布和拉普拉斯分布更为宽泛的适用范围。 y=y+u(x-Aa-e) y=y哈+s(a-) (10) 2模型优化求解 上述迭代步骤中，式(10)是ADMM固有的乘 子升级规则。式(9)通过微分后可得ak+1的解 针对常规的单1，约束稀疏回归问题，迭代重 析解： 加权最小二乘(IRLS)、迭代重加权11最小化 a=C(uA"(x-e)+A'y.+ugB-Y8)(11) (IRL1)21、交替方向乘子[以及迭代阈值收缩 式中：在给定4。和B的前提下，逆算子 ST)等求解算法都得到了成功应用。然而，对 C=(uAA+)是常量，可提前计算并缓存，加速 于式(4)所示双非凸约束模型，所述求解算法都 算法的求解效率。因此，非凸子问题(7)和(8)是 无法直接应用。如果强行将迭代重加权型算法扩 求解式(6)的关键步骤。考虑到p次1，范数约束 展为双加权凸约束形式，所得解也非常容易陷人 北=∑x的可叠加性，式(7)和式(8)得以分解成 局部最优；ADMM算法能够进行有效地多变量拆 独立且并行可解的标量子问题： 分，但是要求各子优化问题具有闭式解或快速求 min f()6- (12) 解策略：IST具有高效的收敛性能，但前提需将目 当p=1时，可由经典的软阈值算法进行有 标函数中的观测矩阵A变换至正交形式。结合 效求解。针对本文的非凸情况(O<pI),RLS、RL1 所述分析，本节采用ADMM算法和IST算法融合 IST等求解算法都存在局部次优解的缺陷。如 策略进行目标函数式(4)的求解优化。首先，通 图1所示，当o=0.9,p=0.2且=1时，IRLS、 过ADMM变量拆分，获得部分子问题的闭式解； IRL1和IST都陷入了局部最小值。为解决该问 其次，提出改进的迭代阈值算法进行非凸子问题 题，本文提出一种改进的阈值迭代方法，在保证 优化；最后，给出完整的模型求解算法并分析其 高效求解的同时能够获得全局最优值。 2.0 运算复杂度。 ○所提算法 1.8 ◇IRLS 2.1ADMM变量拆分 米IRLL 考虑到DNR模型包含两个非凸I,范数约束， 1.6 口IST 需要引人两个辅助变量用于问题简化，将式 1.4 (4)转化为等价约束优化式 1.2 minllx-ABI+l (5) s.t.x-Aa=e,a=B 1.0 并得到其增广拉格朗日形式 0.5 1.0 1.5 2.0 Lee,a,=leg+Ap那+号kc-Ac-elf+ (6) 生a-p呢+Yic-Aa-e+ga-Bm 图1几种算法对典型非凸问题式(12)的最优解 Fig.1 Several algorithms for the optimal solution to the 式中：4、4g0为惩罚参数，.和y为拉格朗日乘 typical nonconvex problem in formula (12)
拉斯分布的 l1 范数约束进行误差最小化[5] ，即 min∥x− Aα∥1 +λ∥α∥1 (3) 然而，当矩阵 A 的不连贯条件无法满足，或 重构误差并不适应于常规的高斯分布或拉普拉斯 分布时，模型 (3) 的求解结果往往是次优的。针 对此问题，本文采用 lp 范数 (p∈(0, 1])) 替换式 (3) 中的 l1 范数约束，即 min∥x− Aα∥ q q +λ∥α∥ p p (4) 为便于区分，在重构误差中以符号 q 表示 lp 范数约束。式 (4) 为本文所提回归模型的目标 函数，对误差项和正则项都采用非凸函数约束， 因此称之为双非凸回归算法 (double nonconvex regression, DNR)，其中对 α 约束 lp 范数较 l1 更接近 于 l0，使得重构系数 α 具有更强的稀疏性；对误差 约束 lp 范数使之更贴近于椭圆分布[10] ，具有较高 斯分布和拉普拉斯分布更为宽泛的适用范围。 2 模型优化求解 针对常规的单 lp 约束稀疏回归问题，迭代重 加权最小二乘 (IRLS)[11] 、迭代重加权 l1 最小化 (IRL1)[ 1 2 ] 、交替方向乘子[ 6 ]以及迭代阈值收缩 (IST)[13]等求解算法都得到了成功应用。然而，对 于式 (4) 所示双非凸约束模型，所述求解算法都 无法直接应用。如果强行将迭代重加权型算法扩 展为双加权凸约束形式，所得解也非常容易陷入 局部最优；ADMM 算法能够进行有效地多变量拆 分，但是要求各子优化问题具有闭式解或快速求 解策略；IST 具有高效的收敛性能，但前提需将目 标函数中的观测矩阵 A 变换至正交形式。结合 所述分析，本节采用 ADMM 算法和 IST 算法融合 策略进行目标函数式 (4) 的求解优化。首先，通 过 ADMM 变量拆分，获得部分子问题的闭式解； 其次，提出改进的迭代阈值算法进行非凸子问题 优化；最后，给出完整的模型求解算法并分析其 运算复杂度。 2.1 ADMM 变量拆分 考虑到 DNR 模型包含两个非凸 lp 范数约束， 需要引入两个辅助变量用于问题简化，将 式 (4) 转化为等价约束优化式 min∥x− Aβ∥ q q +λ∥β∥ p p s.t. x− Aα = e,α = β (5) 并得到其增广拉格朗日形式 Lµe ,µβ (e,α,β) = ||e||q q +λ||β||p p + µe 2 ||x− Aα−e||2 2+ µβ 2 ||α−β||2 2 +γ T e (x− Aα−e)+γ T β (α−β) (6) 式中：μe、μβ>0 为惩罚参数，γe 和 γβ 为拉格朗日乘 子系数。根据 ADMM 变量分离规则，式 (6) 包含 以下迭代步骤： 1) 固定 α 和 γβ，βk+1 的更新子问题为 βk+1 = argmin β Lµβ (β,α,γβ) = λ µβ ||β||p p + 1 2 ||β−α− γβ µβ ||2 2 (7) 2) 固定 α 和 γe，ek+1 的更新子问题为 ek+1 = argmin e Lµe (e,α,γe) = 1 µe ||e||q q + 1 2 ||e− x+ Aα− γe µe ||2 2 (8) 3) 固定 e、β、γe 和 γβ，αk+1 的更新子问题为 αk+1 = argmin e Lµe ,µβ (e,β,γe ,γβ) = µe 2 ||Aα− x+e− γe µe ||2 2 + µβ 2 ||α−β+ γβ µβ ||2 2 (9) 4) 根据计算所得的 β、e 和 α1，更新 γe 和 γβ γ k+1 e = γ k e +µe(x− Aα−e) γ k+1 β = γ k β +µβ(α−β) (10) 上述迭代步骤中，式 (10) 是 ADMM 固有的乘 子升级规则。式 (9) 通过微分后可得 αk+1 的解 析解： α k+1 = C(µeA T (x−e)+ A Tγe +µββ−γβ) (11) ||x||p p = ∑ x p i 式中：在给 定 μ e 和 μ β 的前提下，逆算 子 C=(μeA T A+μβI) -1 是常量，可提前计算并缓存，加速 算法的求解效率。因此，非凸子问题 (7) 和 (8) 是 求解式 (6) 的关键步骤。考虑到 p 次 lp 范数约束 的可叠加性，式 (7) 和式 (8) 得以分解成 独立且并行可解的标量子问题： min f(δ) = 1 2 ∥δ−σ∥ 2 2 +λ∥δ∥ p (12) 当 p=1 时，可由经典的软阈值算法[14]进行有 效求解。针对本文的非凸情况 (0<p<1)，IRLS、IRL1、 IST 等求解算法都存在局部次优解的缺陷。如 图 1 所示， 当 σ=0.9， p=0. 2 且 λ=1 时 ， IRLS、 IRL1 和 IST 都陷入了局部最小值。为解决该问 题，本文提出一种改进的阈值迭代方法，在保证 高效求解的同时能够获得全局最优值。 0 0 0.5 1.0 1.5 2.0 1.0 1.2 1.4 1.6 1.8 2.0 所提算法 IRLS IRL1 IST f(δ) δ 图 1 几种算法对典型非凸问题式 (12) 的最优解 Fig. 1 Several algorithms for the optimal solution to the typical nonconvex problem in formula (12) 第 4 期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·667·
·668· 智能系统学报 第13卷 2.2改进的迭代阈值优化算法 根据式(15)和式(19)，所提的迭代阈值规则 根据式(12)的对称性以及阈值收缩规则)， 如算法1描述。算法1主要更改了阈值计算策 当>0时，最优解范围为[0，小；当σ0的情 令人满意的收敛结果。 形。设p=0.6,1=2.5,图2给出了不同σ值下的 结合算法1与ADMM优化框架，完整的 )最优解情况。由图2中可见，f()的最小值取 DNR优化步骤按式(7)~(10)循环进行，具体的收 决于某临界o值t,当o0的某个点。因此，求 式(8)由算法1并行计算实施，其计算复杂度仅 解式(12)的核心由x,和6两个关键值确定。 为O(),而式(9)的计算复杂度在逆算子缓存的 12r 前提下为O(max(n,nm)。假设ADMM送代次数 。0=3.0 为t,则完整的算法复杂度为O(tnmax(n,m),远远 0,=0.9 优于RLS、RL1等算法的On。 -2.6 算法1改进的迭代阈值规则 6 0=175+ 输入参数o,1,p, 4 0=2.3 输出6。 日 2 1)按式(19)计算x,值： 1 2)如dkx:则令6=0： 3)f反之，令=0,6=o 图2不同σ值下非凸问题∫（的最优解 4)fork=1,2,,J Fig.2 The optimal solution of non-convex problem f() 5)61=l-p(8P; under different o values 6)End 式(12)的一阶和二阶微分别为 7)6'=sgn(c)d; f(6=6-o+p心-1 (13) f'(=1+dp(p-1)8-2 (14) 3实验分析 设60，可得=(p(1-p》2。结合图 2可知，当6∈(0,8叭时，)是凹函数；当6∈ 分别对电力企业运行中的全负荷电能输出 (8m,+o)时，则)是凸函数。进一步，为保证 (兆瓦时)以及运营指标中的月利润总额进行预 )在(6m,+o)具有最小值，需满足f8叭≤0， 测。首先对电力企业的产能输出和运营数据进行 文献[13]令8=0并计算出xsT用于迭代阈值 实证分析，然后将所提算法与经典的SVM1s) 求解。然而，该阈值设法存在问题，如图1所示， BP神经网络I6和非凸非光滑约束NNR方法进 IST计算所得的解满足上述所有规则，且o≥。sT 行精度对比。 时保证 3.1电能输出预测 6-o+p6p-1=0 (15) 通过某电力企业复循环动力装置（包括两个 在(8a,八，+o)中具有唯一的最小值。然而， 燃气涡轮，一个汽轮机以及两个热回收系统)6年 δ具体取值依然高于0)。 运行数据作为预测样本，共含该企业全负荷运行 从图2可见，存在特定的x,使得8)=0)，当 674天所产生的9568个采样点，样本特征包括环 0的某个位置。因此，正确的阈值τ，和 6计算公式应该为 汽压力(V)4个维度。随机选择{10%，20%，30% 1 40%,50%}个采集数据作为训练样本，其余作为测 26-xP+6y=r》 (16) 试数据。实验精度由绝对误差均值(MAE)和均 6-t+dp(6P-1=0 (17) 方误差(RMSE)两者表示，其计算式分别为 将式(17)中的.值代入式(16)可得 MAE (lpI-nil+lp2-rl+.+lpn -ral)/n (20) 6(2λ(1-p)-(6)2-)=0 (18) 其最优解6e(m,+o)为8=(2p(l-p)2p RMSE=((p1-ri)+(p2-r2)+...+(Pa-ra))/n (21) 并可进一步计算出。为 式中：p和r分别为预测值和真实值，n为测试样 t。=[2A(1-p]安+dp[2(1-p]号 (19) 本总量
2.2 改进的迭代阈值优化算法 根据式 (12) 的对称性以及阈值收缩规则[13] ， 当 σ>0 时，最优解范围为[0, σ]；当 σ0 的情 形。设 p=0.6，λ=2.5，图 2 给出了不同 σ 值下的 f(δ) 最优解情况。由图 2 中可见，f (δ) 的最小值取 决于某临界 σ 值 τσ，当 σ0 的某个点。因此，求 解式 (12) 的核心由 τσ 和 δ 两个关键值确定。 式 (12) 的一阶和二阶微分别为 f ′ (δ) = δ−σ+λpδ p−1 (13) f ′′(δ) = 1+λp(p−1)δ p−2 (14) 设 f"(δ (λ, p) )=0，可得 δ (λ, p) =(λp(1-p))1/(2-p)。结合图 2 可知，当 δ∈(0, δ (λ, p) ) 时，f(δ) 是凹函数；当 δ∈ (δ (λ, p) , +∞) 时，则 f(δ) 是凸函数。进一步，为保证 f(δ) 在 (δ (λ, p) , +∞) 具有最小值，需满足 f'(δ (λ, p) )≤0， 文献[13]令 f'(δ (λ, p) )=0 并计算出 τσ IST 用于迭代阈值 求解。然而，该阈值设法存在问题，如图 1 所示， IST 计算所得的解满足上述所有规则，且 σ≥τσ IST 时保证 δ ∗ −σ+λpδ ∗ p−1 = 0 (15) 在 (δ (λ, p) , +∞) 中具有唯一的最小值。然而， f(δ * ) 具体取值依然高于 f(0)。 从图 2 可见，存在特定的 τσ 使得 f(δ * )=f(0)，当 σ0 的某个位置。因此，正确的阈值 τ σ 和 δ *计算公式应该为 1 2 (δ ∗ −τσ ) 2 +λ(δ ∗ ) p = 1 2 (τσ ) 2 (16) δ ∗ −τσ +λp(δ ∗ ) p−1 = 0 (17) 将式 (17) 中的 τσ 值代入式 (16) 可得 δ ∗p (2λ(1− p)−(δ ∗ ) 2−p ) = 0 (18) 其最优解 δ *∈(δ (λ, p) , +∞) 为 δ * =(2λp(1-p))1/(2-p) ， 并可进一步计算出 τσ 为 τσ = [2λ(1− p)] 1 2−p +λp[2λ(1− p)] p−1 2−p (19) 根据式 (15) 和式 (19)，所提的迭代阈值规则 如算法 1 描述。算法 1 主要更改了阈值计算策 略，基本步骤与文献[13]类似，当 J=2 时能够获得 令人满意的收敛结果。 结合算 法 1 与 ADMM 优化框架，完整 的 DNR 优化步骤按式 (7)～(10) 循环进行，具体的收 敛条件按文献[6]设定。值得注意的是，式 (7) 与 式 (8) 由算法 1 并行计算实施，其计算复杂度仅 为 O(n)，而式 (9) 的计算复杂度在逆算子缓存的 前提下为 O(max(n 2 , nm))。假设 ADMM 迭代次数 为 t，则完整的算法复杂度为 O(tnmax(n, m))，远远 优于 IRLS、IRL1 等算法的 O(n 3 )。 算法 1 改进的迭代阈值规则 输入 参数 σ，λ ，p，J； 输出 δ *。 1) 按式 (19) 计算 τσ 值； 2) 如|σ|<τσ；则令 δ * =0； 3) f 反之，令 k=0，δ k =σ； 4) for k=1, 2, ···, J δ k+1 = |σ| −λp(δ k ) p−1 5) ； 6) End 7) δ * =sgn(σ)δ J ； 3 实验分析 分别对电力企业运行中的全负荷电能输出 (兆瓦时) 以及运营指标中的月利润总额进行预 测。首先对电力企业的产能输出和运营数据进行 实证分析，然后将所提算法与经典的 SVM[ 1 5 ] 、 BP 神经网络[16]和非凸非光滑约束 NNR 方法[7]进 行精度对比。 3.1 电能输出预测 通过某电力企业复循环动力装置 (包括两个 燃气涡轮，一个汽轮机以及两个热回收系统)6 年 运行数据作为预测样本，共含该企业全负荷运行 674 天所产生的 9 568 个采样点，样本特征包括环 境温度 (AT)、大气压力 (AP)、相对湿度 (RH)、排 汽压力 (V) 4 个维度。随机选择{10%, 20%, 30%, 40%, 50%}个采集数据作为训练样本，其余作为测 试数据。实验精度由绝对误差均值 (MAE) 和均 方误差 (RMSE) 两者表示，其计算式分别为 MAE = (|p1 −r1|+|p2 −r2|+···+|pn −rn|)/n (20) RMSE = √ ((p1 −r1) 2 +(p2 −r2) 2 +···+(pn −rn) 2 )/n (21) 式中：p 和 r 分别为预测值和真实值，n 为测试样 本总量。 0 1 2 3 2 4 6 8 10 δ f(δ) σ1=3.0 σ5=0.9 σ4=1.75 σ2=2.6 σ3=2.3 12 图 2 不同 σ 值下非凸问题 f (δ) 的最优解 Fig. 2 The optimal solution of non-convex problem f (δ) under different σ values ·668· 智 能 系 统 学 报 第 13 卷
第4期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·669· 表1给出了SVM、BP神经网络、NNR以及 绝对值分别为0.767、0.085、0.102、0.426，即4个 DNR三种对比算法在不同训练样本量下的预测 特征的预测贡献度依次为AT>>RH≈AP,与文献 精度对比，其中DNR的参数值p=q=1。从表1可 [I7的理论分析结果吻合。此外，SVM、BP、NNR 见，DNR算法在不同的训练数下都具有最低的误 DNR3种算法在50%训练量下的完整预测时间 差均值和均方误差值，展示了更为优秀的预测精 分别为2.91s、0.48s、0.32s和0.06s,可见DNR具 度。而且，DNR算法在30%~50%训练样本量下 有明显更高的运行效率。最后，表2和表3分别 的精度非常接近，MAE基本稳定在4.95左右，而 给出了DNR算法在不同p、q值下的预测精度。 BP神经网络、SVM和NNR在不同样本量下的预 从中可见，随着p、q值的优选变化，DNR的预测 测值跨度相对较大，说明DN具有更高的算法稳 精度得以进一步提升，验证了非凸约束的优越 定性，对输入训练样本量要求更小。同时，DNR 性，且最优值处于p、q∈[0.5,0.8]，与文献[18]的理 计算所得的AT、AP、RH、V这4个特征表示系数 论结论吻合。 表1电能输出预测精度对比 Table 1 Comparison of prediction accuracy of energy output SVM BP NNR DNR 训练数% MAE RMSE MAE RMSE MAE RMSE MAE RMSE 10 14.95 16.88 15.01 17.08 18.09 16.21 7.18 9.71 20 9.77 10.91 10.56 11.70 13.30 10.92 5.79 6.67 30 7.21 8.70 7.23 8.53 7.04 9.68 5.01 5.84 40 6.31 7.51 6.10 7.80 6.96 8.09 4.95 5.61 50 5.62 6.56 5.224 7.04 5.89 7.04 4.92 5.46 表2DNR算法不同q值下的电能输出预测精度 表3DNR算法不同p值下的电能输出预测精度 Table 2 Predicting accuracy of energy output in different Table 3 DNR algorithm power output prediction accur- g of DNR algorithm acy in different p 9 0.1 0.3 0.5 0.7 0.9 1.0 0.1 0.3 0.5 0.7 0.9 1.0 MAE 5.02 4.80 4.68 4.70 4.92 4.92 MAE 4.97 4.76 4.60 4.56 4.80 4.92 RMSE 5.90 5.58 5.18 5.20 5.46 5.46 RMSE 5.87 5.43 5.12 5.10 5.38 5.46 3.2运营数据预测 率，单位资产售电量，每万元电网资产运行维护 选取某电网企业自2013年1月一2014年 成本等真实数据作为训练样本集，2015年1月一 12月期间的流动资产周转率（次），购电成本（万 2015年12月期间的运营指标数据作为测试样本 元)，可控费用（万元），货币资金，主营业务利润 集。表4为部分训练样本集数据。 表4部分训练样本集数据 Table 4 Partial training sample data set 时间 流动资产周转率次 可控费用万元 货币资金万元 单位资产售电万千瓦时亿元 2013/12/1 8.05 2162425.1160 735383.0135 14.69 2013/11/1 6.77 1947716.5020 1168359.9160 13.74 2013/10/1 6.23 1632149.7230 1120286.6370 12.54 2013/9/1 5.92 1627894.9270 870841.8528 11.35 2013/8/1 5.32 1357263.5790 704199.6911 10.11 2013/7/1 4.47 1140268.4590 791858.7091 8.50 2013/6/1 3.75 1015995.5660 701248.5016 0.13 2013/5/1 2.90 811738.9167 862714.7000 0.12 2013/4/1 2.36 611711.3354 781078.8391 0.13 2013/3/1 1.64 425317.3987 994395.3650 0.11 2013/2/1 1.15 328205.7468 799377.9168 0.08 2013/1/1 0.73 161987.0125 697097.0469 0.07
表 1 给出了 SVM、BP 神经网络、NNR 以及 DNR 三种对比算法在不同训练样本量下的预测 精度对比，其中 DNR 的参数值 p=q=1。从表 1 可 见，DNR 算法在不同的训练数下都具有最低的误 差均值和均方误差值，展示了更为优秀的预测精 度。而且，DNR 算法在 30%~50% 训练样本量下 的精度非常接近，MAE 基本稳定在 4.95 左右，而 BP 神经网络、SVM 和 NNR 在不同样本量下的预 测值跨度相对较大，说明 DNR 具有更高的算法稳 定性，对输入训练样本量要求更小。同时，DNR 计算所得的 AT、AP、RH、V 这 4 个特征表示系数 绝对值分别为 0.767、0.085、0.102、0.426，即 4 个 特征的预测贡献度依次为 AT>V>RH≈AP，与文献 [17]的理论分析结果吻合。此外，SVM、BP、NNR、 DNR 3 种算法在 50% 训练量下的完整预测时间 分别为 2.91 s、0.48 s、0.32 s 和 0.06 s，可见 DNR 具 有明显更高的运行效率。最后，表 2 和表 3 分别 给出了 DNR 算法在不同 p、q 值下的预测精度。 从中可见，随着 p、q 值的优选变化，DNR 的预测 精度得以进一步提升，验证了非凸约束的优越 性，且最优值处于 p、q∈[0.5, 0.8]，与文献[18]的理 论结论吻合。 3.2 运营数据预测 选取某电网企业自 2013 年 1 月—201 4 年 12 月期间的流动资产周转率 (次)，购电成本 (万 元)，可控费用 (万元)，货币资金，主营业务利润 率，单位资产售电量，每万元电网资产运行维护 成本等真实数据作为训练样本集，2015 年 1 月— 2015 年 12 月期间的运营指标数据作为测试样本 集。表 4 为部分训练样本集数据。 表 1 电能输出预测精度对比 Table 1 Comparison of prediction accuracy of energy output 训练数/% SVM BP NNR DNR MAE RMSE MAE RMSE MAE RMSE MAE RMSE 10 14.95 16.88 15.01 17.08 18.09 16.21 7.18 9.71 20 9.77 10.91 10.56 11.70 13.30 10.92 5.79 6.67 30 7.21 8.70 7.23 8.53 7.04 9.68 5.01 5.84 40 6.31 7.51 6.10 7.80 6.96 8.09 4.95 5.61 50 5.62 6.56 5.224 7.04 5.89 7.04 4.92 5.46 表 2 DNR 算法不同 q 值下的电能输出预测精度 Table 2 Predicting accuracy of energy output in different q of DNR algorithm q 0.1 0.3 0.5 0.7 0.9 1.0 MAE 5.02 4.80 4.68 4.70 4.92 4.92 RMSE 5.90 5.58 5.18 5.20 5.46 5.46 表 3 DNR 算法不同 p 值下的电能输出预测精度 Table 3 DNR algorithm power output prediction accuracy in different p p 0.1 0.3 0.5 0.7 0.9 1.0 MAE 4.97 4.76 4.60 4.56 4.80 4.92 RMSE 5.87 5.43 5.12 5.10 5.38 5.46 表 4 部分训练样本集数据 Table 4 Partial training sample data set 时间 流动资产周转率/次 可控费用/万元 货币资金/万元 单位资产售电/(万千瓦时·亿元–1) 2013/12/1 8.05 2 162 425.116 0 735 383.013 5 14.69 2013/11/1 6.77 1 947 716.502 0 1 168 359.916 0 13.74 2013/10/1 6.23 1 632 149.723 0 1 120 286.637 0 12.54 2013/9/1 5.92 1 627 894.927 0 870 841.852 8 11.35 2013/8/1 5.32 1 357 263.579 0 704 199.691 1 10.11 2013/7/1 4.47 1 140 268.459 0 791 858.709 1 8.50 2013/6/1 3.75 1 015 995.566 0 701 248.501 6 0.13 2013/5/1 2.90 811 738.916 7 862 714.700 0 0.12 2013/4/1 2.36 611 711.335 4 781 078.839 1 0.13 2013/3/1 1.64 425 317.398 7 994 395.365 0 0.11 2013/2/1 1.15 328 205.746 8 799 377.916 8 0.08 2013/1/1 0.73 161 987.012 5 697 097.046 9 0.07 第 4 期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·669·
·670· 智能系统学报 第13卷 实验中通过DNR、SVM、BP神经网络和 1.0 0.9 NNR这3种预测方法对2013年1月一2014年 0.8 12月连续2年的月利润总额进行拟合，对2015年 0.7 0.6 1月一2015年12月1年的月利润总额进行预测， 0.5 并比较三者的预测精度，其结果如图36以及表5 g04 所示。 0.3 0.2 1.0 0.1 0.9 024681012141618202224 0.8 月份数 0.7 (a)训练样本拟合效果 1.0 8略 0.8 0.2 0.6 024681012141618202224 月份数 0.44 (a)训练样本拟合效果 0.2 1.0 。一预测值 一+实际值 6 10 12 0.8 月份数 b)测试样本预测效果 0.6 图4SVM对训练样本的拟合效果及对测试样本的预测 0.4 效果对比 0.2 Fig.4 Comparison of test samples and training samples's fitting effect by SVM 4 681012 1.0 月份数 一拟合值 b)测试样本预测效果 0.9 ◆一原始值 0.8 0.7 图3DNR对训练样本的拟合效果及对测试样本的预测 0.6 效果对比 0.5 Fig.3 Comparison of the fitting effect of DNR on training .0.4 samples and the prediction effect of test samples 0.3 由图3可知，DNR对24个月数据的拟合值基 0.2 0.1 本贴合原始值的走势，表现出优秀的拟合能力。 图4中SVM的拟合能力一般，特别是第1个月~ 024681012141618202224 月份数 第11个月的拟合值与原始值相差较大。图5中 (a)训练样本拟合效果 BP神经网络对数据的拟合值符合原始值的一般 1.0 一一预测值 走向，只是在数值上存在一定程度上的等比例缩 一+-实际值 0.8 小。由图6可以看出NNR的拟合和预测误差较 大。而对于DNR、SVM和BP神经网络的预测效 0.6 果，通过图3~6的预测对比可知DNR更为接近 0.4 地预测出了2015年1月一2015年10月的月利润 总额。虽然其对11月~12月这两个月的数据预 0.2 测不甚理想，但整体利润趋势与实际值吻合。相 较而言，BP神经网络对这两个月的数据预测较精 4 6 81012 月份数 准，但1月~4月的预测值却与实际值相差甚 (b)测试样本预测效果 远。SVM的预测值与实际值虽大致在同一数值 层上，但整体预测值离精确点相去较远。此外， 图5BP神经网络对训练样本的拟合效果及对测试样本 的预测效果对比 NNR虽与实际值走势相似，但存在多个严重偏离 Fig.5 Comparison of test samples and training samples's 真实值的预测值。 fitting effect by BP neural network
实验中通过 DNR、 SVM、BP 神经网络和 NNR 这 3 种预测方法对 2013 年 1 月—2014 年 12 月连续 2 年的月利润总额进行拟合，对 2015 年 1 月—2015 年 12 月 1 年的月利润总额进行预测， 并比较三者的预测精度，其结果如图 3~6 以及表 5 所示。 由图 3 可知，DNR 对 24 个月数据的拟合值基 本贴合原始值的走势，表现出优秀的拟合能力。 图 4 中 SVM 的拟合能力一般，特别是第 1 个月~ 第 11 个月的拟合值与原始值相差较大。图 5 中 BP 神经网络对数据的拟合值符合原始值的一般 走向，只是在数值上存在一定程度上的等比例缩 小。由图 6 可以看出 NNR 的拟合和预测误差较 大。而对于 DNR、SVM 和 BP 神经网络的预测效 果，通过图 3～6 的预测对比可知 DNR 更为接近 地预测出了 2015 年 1 月—2015 年 10 月的月利润 总额。虽然其对 11 月~12 月这两个月的数据预 测不甚理想，但整体利润趋势与实际值吻合。相 较而言，BP 神经网络对这两个月的数据预测较精 准 ，但 1 月～4 月的预测值却与实际值相差甚 远。SVM 的预测值与实际值虽大致在同一数值 层上，但整体预测值离精确点相去较远。此外， NNR 虽与实际值走势相似，但存在多个严重偏离 真实值的预测值。 0 2 4 6 8 10 12 14 16 18 20 22 24 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 月份数 归一化数值 拟合值 原始值 (a) 训练样本拟合效果 2 4 6 8 10 12 0 0.2 0.4 0.6 0.8 1.0 月份数 归一化数值 预测值 实际值 (b) 测试样本预测效果 图 3 DNR 对训练样本的拟合效果及对测试样本的预测 效果对比 Fig. 3 Comparison of the fitting effect of DNR on training samples and the prediction effect of test samples 0 2 4 6 8 10 12 14 16 18 20 22 24 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 月份数 归一化数值 拟合值 原始值 2 4 6 8 10 12 0 0.2 0.4 0.6 0.8 1.0 月份数 归一化数值 预测值 实际值 (a) 训练样本拟合效果 (b) 测试样本预测效果 图 4 SVM 对训练样本的拟合效果及对测试样本的预测 效果对比 Fig. 4 Comparison of test samples and training samples’s fitting effect by SVM 0 2 4 6 8 10 12 14 16 18 20 22 24 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 月份数 归一化数值 (a) 训练样本拟合效果 拟合值 原始值 2 4 6 8 10 12 0 0.2 0.4 0.6 0.8 1.0 月份数 归一化数值 (b) 测试样本预测效果 预测值 实际值 图 5 BP 神经网络对训练样本的拟合效果及对测试样本 的预测效果对比 Fig. 5 Comparison of test samples and training samples’s fitting effect by BP neural network ·670· 智 能 系 统 学 报 第 13 卷
第4期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·671· 1.0 1 4结束语 0.9 一拟合值 一◆一原始值 0.8 0.7 电网企业运行和运营数据预测是一个极为复 0.6 杂的课题，数据采集过程中仪器老化产生的测量 0.5 误差、人工疏忽导致的漏检误标等因素使得预测 .0.4 0.3 过程具有很大的随机性和不确定性。本文提出 0.2 种称为非凸回归的预测算法，改进了经典稀疏回 归法中的模型约束形式，对重构误差和稀疏系数 4681012141618202224 月份数 引入l0<p≤1)正则化项约束，使之包含更为稀疏 (a)训练样本拟合效果 的目标项并具有更为灵活的扩展应用能力。通过 1.0 交替方向乘子法对该回归模型进行求解，并对其 一预测值 一+一实际值 中的子问题提出一种新的阈值优化规则，确保目 0.8 标函数具有快速的非凸优化求解能力。实验结果 表明，与支持向量机BP神经网络和非凸约束算 法NNR相比，本文所提方法具有较高的预测精度 和更好的预测效果，且运行效率高。 参考文献： 4 6 81012 月份数 [1]TAYLOR J W.Multi-item sales forecasting with total and (b)测试样本预测效果 split exponential smoothing[].Journal of the operational research society,2011,62(3):555-563. 图6NNR对训练样本的拟合效果及对测试样本的预测 效果对比 [2]彭敏，张泰玮，黄佳佳，等.基于回归模型与谱聚类的微 Fig.6 Comparison of test samples and training samples's 博突发话题检测方法[JU.计算机工程，2015,41(12)： fitting effect by NNR 176-181 表5DNR、SVM、BP和NNR在运营数据中的预测对比 PENG Min,ZHANG Taiwei,HUANG Jiajia,et al.Mi- Table 5 Predictive comparison of DNR,SVM,BP and NNR croblog sudden topic detection method based on regres- in operational data sion models and spectral clustering[J].Computer engineer- ing.2015.41(12):176-181. MAE RMSE 方法 运行时间/s [3]ARYA F K.ZHANG Lan.Time series analysis of water 训练 测试 训练测试 quality parameters at Stillaguamish River using order DNR 0.082 0.103 0.20 0.20 0.017 series method[J].Stochastic environmental research and SVM 0.196 0.287 0.29 0.36 0.86 risk assessment,2015,29(1):227-239. BP 0.104 0.182 0.21 0.30 0.94 [4]丁宏飞，李演洪，刘博，等.基于BP神经网络与SVM的 NNR0.1590.203 快速路行程时间组合预测研究[).计算机应用研究， 0.280.32 0.89 2016,33(10):2929-2932,2936. 综上所述，DNR和BP神经网络在运营数据 DING Hongfei,LI Yanhong,LIU Bo,et al.Expressway's 中对训练样本的拟合效果优于SVM。虽然DNR travel time prediction based on combined BP neural net- 和BP神经网络的拟合效果接近，但对于测试样 work and support vector machine approach[J].Application 本的预测结果对比图中明显可以看出，DNR的预 research of computers,2016,33(10):2929-2932,2936. 测结果最佳。NNR因为存在多个高偏离度的预 [5]ZHENG Jianwei,YANG Ping,CHEN Shengyong,et al.It- erative re-constrained group sparse face recognition with 测点而次于SVM。BP神经网络的预测效果最差。 adaptive weights learning[J].IEEE transactions on image 此外，由表5可知，不论训练样本还是测试样 processing.2017,26(5):2408-2423. 本，DNR的MEA和RMSE值均小于SVM BP神 [6]CHEN Liang,SUN Defeng,TOH K C.A note on the con- 经网络和NNR的误差均值和均方差，再次验证了 vergence of ADMM for linearly constrained convex optim- 图3~6的拟合效果和预测效果，并且DNR的运 ization problems[J].Computational optimization and ap- 行时间（单位：s)也远远少于SVM、BP神经网络 plications,.2017,66(2):327-343. 和NNR。 [7]CUI Zhuoxu,FAN Qibin.A nonconvex nonsmooth regu-
综上所述，DNR 和 BP 神经网络在运营数据 中对训练样本的拟合效果优于 SVM。虽然 DNR 和 BP 神经网络的拟合效果接近，但对于测试样 本的预测结果对比图中明显可以看出，DNR 的预 测结果最佳。NNR 因为存在多个高偏离度的预 测点而次于 SVM。BP 神经网络的预测效果最差。 此外，由表 5 可知，不论训练样本还是测试样 本，DNR 的 MEA 和 RMSE 值均小于 SVM BP 神 经网络和 NNR 的误差均值和均方差，再次验证了 图 3～6 的拟合效果和预测效果，并且 DNR 的运 行时间 (单位：s) 也远远少于 SVM、BP 神经网络 和 NNR。 4 结束语 电网企业运行和运营数据预测是一个极为复 杂的课题，数据采集过程中仪器老化产生的测量 误差、人工疏忽导致的漏检误标等因素使得预测 过程具有很大的随机性和不确定性。本文提出一 种称为非凸回归的预测算法，改进了经典稀疏回 归法中的模型约束形式，对重构误差和稀疏系数 引入 lp (0<p≤1) 正则化项约束，使之包含更为稀疏 的目标项并具有更为灵活的扩展应用能力。通过 交替方向乘子法对该回归模型进行求解，并对其 中的子问题提出一种新的阈值优化规则，确保目 标函数具有快速的非凸优化求解能力。实验结果 表明，与支持向量机 BP 神经网络和非凸约束算 法 NNR 相比，本文所提方法具有较高的预测精度 和更好的预测效果，且运行效率高。 参考文献： TAYLOR J W. Multi-item sales forecasting with total and split exponential smoothing[J]. Journal of the operational research society, 2011, 62(3): 555–563. [1] 彭敏, 张泰玮, 黄佳佳, 等. 基于回归模型与谱聚类的微 博突发话题检测方法[J]. 计算机工程, 2015, 41(12): 176–181. PENG Min, ZHANG Taiwei, HUANG Jiajia, et al. Microblog sudden topic detection method based on regression models and spectral clustering[J]. Computer engineering, 2015, 41(12): 176–181. [2] ARYA F K, ZHANG Lan. Time series analysis of water quality parameters at Stillaguamish River using order series method[J]. Stochastic environmental research and risk assessment, 2015, 29(1): 227–239. [3] 丁宏飞, 李演洪, 刘博, 等. 基于 BP 神经网络与 SVM 的 快速路行程时间组合预测研究[J]. 计算机应用研究, 2016, 33(10): 2929–2932, 2936. DING Hongfei, LI Yanhong, LIU Bo, et al. Expressway’s travel time prediction based on combined BP neural network and support vector machine approach[J]. Application research of computers, 2016, 33(10): 2929–2932, 2936. [4] ZHENG Jianwei, YANG Ping, CHEN Shengyong, et al. Iterative re-constrained group sparse face recognition with adaptive weights learning[J]. IEEE transactions on image processing, 2017, 26(5): 2408–2423. [5] CHEN Liang, SUN Defeng, TOH K C. A note on the convergence of ADMM for linearly constrained convex optimization problems[J]. Computational optimization and applications, 2017, 66(2): 327–343. [6] [7] CUI Zhuoxu, FAN Qibin. A nonconvex nonsmooth regu- 2 4 6 8 10 12 14 16 18 20 22 24 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 月份数 归一化数值 (a) 训练样本拟合效果 拟合值 原始值 2 4 6 8 10 12 0 0.2 0.4 0.6 0.8 1.0 月份数 归一化数值 (b) 测试样本预测效果 预测值 实际值 图 6 NNR 对训练样本的拟合效果及对测试样本的预测 效果对比 Fig. 6 Comparison of test samples and training samples’s fitting effect by NNR 表 5 DNR、SVM、BP 和 NNR 在运营数据中的预测对比 Table 5 Predictive comparison of DNR, SVM, BP and NNR in operational data 方法 MAE RMSE 运行时间/s 训练 测试 训练 测试 DNR 0.082 0.103 0.20 0.20 0.017 SVM 0.196 0.287 0.29 0.36 0.86 BP 0.104 0.182 0.21 0.30 0.94 NNR 0.159 0.203 0.28 0.32 0.89 第 4 期 王锋华，等：快速双非凸回归算法及其电力数据预测应用 ·671·
·672· 智能系统学报 第13卷 larization method for compressed sensing and low rank [16]LIU Ke,GUO Wenyan,SHEN Xiaoliu,et al.Research on matrix completion[J].Digital signal processing,2017,62: the forecast model of electricity power industry loan 101-111 based on GA-BP neural network[J].Energy procedia, [8]YANG Meng,ZHANG Lei,YANG Jian,et al.Regular- 2012,14:1918-1924. ized robust coding for face recognition[J].IEEE transac- [17]TUFEKCI P.Prediction of full load electrical power out- tions on image processing,2013,22(5):1753-1766. put of a base load operated combined cycle power plant [9]WRIGHT J,YANG A Y,GANESH A,et al.Robust face using machine learning methods[J].International journal recognition via sparse representation[J].IEEE transactions of electrical power and energy systems,2014,60:126- on pattern analysis and machine intelligence,2009,31(2): 140. 210-227. [18]ZHANG Yong,YE Wanzhou,ZHANG Jianjun.Sparse [10]LUO Lei,YANG Jian,QIAN Jianjun,et al.Robust im- signal recovery by accelerated l(0<g<1)thresholding al- age regression based on the extended matrix variate gorithm[].International journal of computer mathemat- power exponential distribution of dependent noise[J]. ics,2017,94(12):2481-2491 IEEE transactions on neural networks and learning sys- 作者简介： tems.2017,28(9:2168-2182. 王锋华，男，1977年生，硕士研究 [11]郑建炜，黄琼芳，杨平，等.特征加权组稀疏判别投影分 生，主要研究方向为电网数据融合和 析算法.自动化学报，2016,42(5)746-759 处理分析技术。牵头国家电网公司科 ZHENG Jianwei,HUANG Qiongfang,YANG Ping,et al. 技项目5项。出版专著2部。 Feature weighted group sparse discriminative projection algorithm[J].Acta automatica sinica,2016,42(5): 746-759. [12]CANDES E J,WAKIN M B,BOYD S P.Enhancing 成敬周，男，1980年生，博士研究 sparsity by reweighted 11 minimization[J].Journal of 生，主要研究方向为电力系统交直流 Fourier analysis and applications,2008,14(5):877-905. 动态系统、电网数据挖掘与分析应用 技术。参与国家电网公司科技项目 [13]SHE Yiyuan.Thresholding-based iterative selection pro- 4项，发表学术论文10余篇。 cedures for model selection and shrinkage[J].Electronic journal of statistics,2009,3:384-415. [14]CAI Jianfeng,CANDES E J,SHEN Zouwei.A singular value thresholding algorithm for matrix completion[J]. 文凡，男，1982年生，硕土研究生， 主要研究方向为电力系统自动化、电 SIAM journal on optimization,2010,20(4):1956-1982. 网数据分析技术。参与国家电网公司 [15]CHAABANE N.A novel auto-regressive fractionally in- 科技项目5项，发表学术论文10余篇。 tegrated moving average-least-squares support vector ma- chine model for electricity spot prices prediction[J]. Journal of applied statistics,2014,41(3):635-651
larization method for compressed sensing and low rank matrix completion[J]. Digital signal processing, 2017, 62: 101–111. YANG Meng, ZHANG Lei, YANG Jian, et al. Regularized robust coding for face recognition[J]. IEEE transactions on image processing, 2013, 22(5): 1753–1766. [8] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE transactions on pattern analysis and machine intelligence, 2009, 31(2): 210–227. [9] LUO Lei, YANG Jian, QIAN Jianjun, et al. Robust image regression based on the extended matrix variate power exponential distribution of dependent noise[J]. IEEE transactions on neural networks and learning systems, 2017, 28(9): 2168–2182. [10] 郑建炜, 黄琼芳, 杨平, 等. 特征加权组稀疏判别投影分 析算法[J]. 自动化学报, 2016, 42(5): 746–759. ZHENG Jianwei, HUANG Qiongfang, YANG Ping, et al. Feature weighted group sparse discriminative projection algorithm[J]. Acta automatica sinica, 2016, 42(5): 746–759. [11] CANDÈS E J, WAKIN M B, BOYD S P. Enhancing sparsity by reweighted l1 minimization[J]. Journal of Fourier analysis and applications, 2008, 14(5): 877–905. [12] SHE Yiyuan. Thresholding-based iterative selection procedures for model selection and shrinkage[J]. Electronic journal of statistics, 2009, 3: 384–415. [13] CAI Jianfeng, CANDÈS E J, SHEN Zouwei. A singular value thresholding algorithm for matrix completion[J]. SIAM journal on optimization, 2010, 20(4): 1956–1982. [14] CHAÂBANE N. A novel auto-regressive fractionally integrated moving average-least-squares support vector machine model for electricity spot prices prediction[J]. Journal of applied statistics, 2014, 41(3): 635–651. [15] LIU Ke, GUO Wenyan, SHEN Xiaoliu, et al. Research on the forecast model of electricity power industry loan based on GA-BP neural network[J]. Energy procedia, 2012, 14: 1918–1924. [16] TÜFEKCI P. Prediction of full load electrical power output of a base load operated combined cycle power plant using machine learning methods[J]. International journal of electrical power and energy systems, 2014, 60: 126– 140. [17] ZHANG Yong, YE Wanzhou, ZHANG Jianjun. Sparse signal recovery by accelerated lq (0<q<1) thresholding algorithm[J]. International journal of computer mathematics, 2017, 94(12): 2481–2491. [18] 作者简介： 王锋华，男，1977 年生，硕士研究 生，主要研究方向为电网数据融合和 处理分析技术。牵头国家电网公司科 技项目 5 项。出版专著 2 部。 成敬周，男，1980 年生，博士研究 生，主要研究方向为电力系统交直流 动态系统、电网数据挖掘与分析应用 技术。参与国家电网公司科技项目 4 项，发表学术论文 10 余篇。 文凡，男，1982 年生，硕士研究生， 主要研究方向为电力系统自动化、电 网数据分析技术。参与国家电网公司 科技项目 5 项，发表学术论文 10 余篇。 ·672· 智 能 系 统 学 报 第 13 卷