基于时空长短期记忆网络的机场航班延误预测 李娟,曾维理*,刘丹丹,羊钊,丛玮2 a.南京航空航天大学民航学院,江苏南京211106:b.飞友科技有限公司,江苏南京211106) 瘸要:准确预测杋场航班延误情况,对于全面协调空管、机场、航空公司的运行 至关重要。目前,长短期记忆(LSTM)神经网络在各领域得到广泛应用,特别是 在预测方面,精度明显高于传统的机器学习预测方法。本文将深度学习方法进行推 广和应用到机场航班延误预测,提岀一种时空LSTM神经网络航班延误预测方 通过考虑关联杋场在时间和空间的相关性,将所有关联杋场的到达延误和岀发延误 作为特征变量,能充分从高维特征变量中捕获延误传播内在杋理,从而提高延误预 测的精度。以美国2015年至2018年主要机场延误数据作为实验数据,实验结果表 明,在不同时长预测精度上,本文方法在预测精度上均优于目前主流延误预测方法。 关键词 延误预测;深度学习;LSIM网络;时空变量 Spatial-Temporal Long Short-term Memory Networks for Airport Flight Delay Prediction Li Juan, Zeng Wei-li, Liu Dan-dan, Yang Zhao, Cong Wei (1. College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106: 2. Variflight Technology Company Abstract: Accurately predicting airport flight delays is important for overall comprehensive coordination of airports, airlines and air traffic management. However, due to the complexity of the impact on flight delays, the existing mainstream methods have lower prediction accuracy Inspired by the method of traffic flow prediction based on deep learning, a method based on deep lstM for flight delay prediction is proposed. Different from the existing mainstream methods, this paper firstly applies the Spatial-Temporal Long Short-term Memory Networks (LSTM) to flight delay prediction, and considers the correlation of time and space of associated airports, and features the arrival delay and departure delay of all associated airports. The algorithm can totally obtain information from high-dimensional data Based on the delay data of the major airports in the United States from 2015 to 2018 as experimental data. Experimental Results demonstrated that the airport delay prediction method is superior to the current mainstream delay prediction method in predicting accuracy in different time length prediction key words: delay prediction; deep learning, LSTM Network; spatial-temporal variable 基金项目:中央高校基本科研业务费资助(NoNS2018044)和国家自然科学基金(No.51608268) 通讯作者:曾维理( zwlnuaaanuaaedu cn)
基于时空长短期记忆网络的机场航班延误预测 李娟,曾维理*,刘丹丹,羊钊，丛玮 2 （a. 南京航空航天大学民航学院，江苏 南京 211106； b. 飞友科技有限公司，江苏 南京 211106） 摘 要： 准确预测机场航班延误情况，对于全面协调空管、机场、航空公司的运行 至关重要。目前，长短期记忆（LSTM）神经网络在各领域得到广泛应用，特别是 在预测方面，精度明显高于传统的机器学习预测方法。本文将深度学习方法进行推 广和应用到机场航班延误预测，提出一种时空 LSTM 神经网络航班延误预测方法。 通过考虑关联机场在时间和空间的相关性，将所有关联机场的到达延误和出发延误 作为特征变量，能充分从高维特征变量中捕获延误传播内在机理，从而提高延误预 测的精度。以美国 2015 年至 2018 年主要机场延误数据作为实验数据，实验结果表 明，在不同时长预测精度上，本文方法在预测精度上均优于目前主流延误预测方法。 关键词： 延误预测; 深度学习; LSTM 网络；时空变量 Spatial-Temporal Long Short-term Memory Networks for Airport Flight Delay Prediction Li Juan, Zeng Wei-li, Liu Dan-dan,Yang Zhao1 ,Cong Wei2 (1. College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106；2. Variflight Technology Company） Abstract: Accurately predicting airport flight delays is important for overall comprehensive coordination of airports, airlines and air traffic management. However, due to the complexity of the impact on flight delays, the existing mainstream methods have lower prediction accuracy. Inspired by the method of traffic flow prediction based on deep learning, a method based on deep LSTM for flight delay prediction is proposed. Different from the existing mainstream methods, this paper firstly applies the Spatial-Temporal Long Short-term Memory Networks (LSTM) to flight delay prediction, and considers the correlation of time and space of associated airports, and features the arrival delay and departure delay of all associated airports .The algorithm can totally obtain information from high-dimensional data. Based on the delay data of the major airports in the United States from 2015 to 2018 as experimental data. Experimental Results demonstrated that the airport delay prediction method is superior to the current mainstream delay prediction method in predicting accuracy in different time length prediction. key words: delay prediction; deep learning; LSTM Network; spatial-temporal variable 基金项目：中央高校基本科研业务费资助（No.NS2018044）和国家自然科学基金（No.51608268） 通讯作者：曾维理(zwlnuaa@nuaa.edu.cn)
、引言 近年来,航空运输业迅速发展,空中交通流量逐年增加,导致机场容量在现有的运行 状况下逐渐饱和,航班延误频繁发生,并且影响航班延误的因素多且复杂,诸如天气,管 制等诸多不可控因素都会严重影响航班的正常运行,导致航班延误。据FAA网站提供的数 据,2018年1月至11月份公布的全美航班总数6916597班,延误2383720班,占34.4%。 2017年全国客运航班平均延误时间24分钟,而在2016年这一数据为16分钟。航班延误 已经成为影响机场和航空公司运行、空中交通管制以及旅客正常出行的重大问题。因此, 对航班延误做出精准预测具有重要意义,不仅可以提高机场以及航空公司的运行效率,减 少航班延误造成的损失,还可以为旅客带来良好的飞行体验,同时能够减少空中交通事 故、确保飞行安全。 在航班延误预测方面,可以从微观和宏观的角度,将研究对象可以分为两类:一类是 预测单架飞机的延误,另一类是对机场某个时间段的平均延误进行预测。在 机延误预测方面,Choi将航班延误和成本联系起来,提出了基于成本计算和监督机器学习 算法预测单个航班延误的模型。 Demir和 Demir利用机场传感器采集到的数据和航班信息 建立了一种基于人工神经网络的飞机起飞延误估计的机器学习模型四。程华等对比已有的 贝叶斯网络及朴素贝叶斯。 Chung等人提出了基于级联神经网络的预测方法,将航班起飞 延误预测作为航班到达延误预测的输入,根据预期的航班到达延误,可以确定缓冲时间 同时还可以使用动态后备机组策略确定预备机组人员数量,有利于提高航班稳定性和节约 成本。吴仁彪等人针对航班延误预测数据量大、特征提取困难而传统算法处理能力有限 的问题,提出一种基于双通道卷积神经网络的航班延误预测模型。同时,提出一种基于 Spark并融合气象数据的并行化航班延误预测模型。该模型完成了航班数据和气象数据的 融合,从而在单个航班数据后加入不同小时的气象数据,采用并行化方式进行随机森林的特 征划分和树的生成,可快速进行航班延误预测。 针对机场平均延误预测方面, Rebollo and balakrishnan运用随机森林算法预测某一 特定ω对(或机场)在未来2至24小时内的离港延误,提出了基于网络的航班延误预测模型 口。Zhu和应用支持向量回归模型来预测机场延误,将与延误相关因素如天气条件、机 场容量以及机场性能等作为模型输入,以小时延误为输出进行训练,通过对北京首都国际 机场运行数据的研究验证了基于SVR延误预测模型的有效性。何洋等人基于支持向量机回 归方法建立航班延误预测模型处理繁忙机场的进离港延误航班数量和延误时间难以预测的 问题明。 Belcastro等人主要研究了由于天气状况导致的航班到达延误,采用并行算法分析 和挖掘了航班信息和天气观测数据,验证了预测超过给定阈值的延误时具有很高的准确性
一、引言 近年来，航空运输业迅速发展，空中交通流量逐年增加，导致机场容量在现有的运行 状况下逐渐饱和，航班延误频繁发生，并且影响航班延误的因素多且复杂，诸如天气，管 制等诸多不可控因素都会严重影响航班的正常运行，导致航班延误。据 FAA 网站提供的数 据，2018 年 1 月至 11 月份公布的全美航班总数 6916597 班，延误 2383720 班，占 34.4%。 2017 年全国客运航班平均延误时间 24 分钟，而在 2016 年这一数据为 16 分钟。航班延误 已经成为影响机场和航空公司运行、空中交通管制以及旅客正常出行的重大问题。因此， 对航班延误做出精准预测具有重要意义，不仅可以提高机场以及航空公司的运行效率，减 少航班延误造成的损失，还可以为旅客带来良好的飞行体验，同时能够减少空中交通事 故、确保飞行安全。 在航班延误预测方面，可以从微观和宏观的角度，将研究对象可以分为两类：一类是 预测单架飞机的延误[1-6]，另一类是对机场某个时间段的平均延误进行预测[2-8] 。在单架飞 机延误预测方面，Choi 将航班延误和成本联系起来，提出了基于成本计算和监督机器学习 算法预测单个航班延误的模型[1] 。Demir 和 Demir 利用机场传感器采集到的数据和航班信息 建立了一种基于人工神经网络的飞机起飞延误估计的机器学习模型[2] 。程华等对比已有的 贝叶斯网络及朴素贝叶斯[3] 。Chung 等人提出了基于级联神经网络的预测方法，将航班起飞 延误预测作为航班到达延误预测的输入，根据预期的航班到达延误，可以确定缓冲时间， 同时还可以使用动态后备机组策略确定预备机组人员数量，有利于提高航班稳定性和节约 成本[4] 。吴仁彪等人针对航班延误预测数据量大、特征提取困难而传统算法处理能力有限 的问题，提出一种基于双通道卷积神经网络的航班延误预测模型[5] 。同时，提出一种基于 Spark 并融合气象数据的并行化航班延误预测模型。该模型完成了航班数据和气象数据的 融合,从而在单个航班数据后加入不同小时的气象数据，采用并行化方式进行随机森林的特 征划分和树的生成,可快速进行航班延误预测[6] 。 针对机场平均延误预测方面， Rebollo and Balakrishnan运用随机森林算法预测某一 特定OD对（或机场）在未来2至24小时内的离港延误，提出了基于网络的航班延误预测模型 [7] 。Zhu 和Hu 应用支持向量回归模型来预测机场延误，将与延误相关因素如天气条件、机 场容量以及机场性能等作为模型输入，以小时延误为输出进行训练，通过对北京首都国际 机场运行数据的研究验证了基于SVR延误预测模型的有效性[8] 。何洋等人基于支持向量机回 归方法建立航班延误预测模型处理繁忙机场的进离港延误航班数量和延误时间难以预测的 问题[9] 。Belcastro等人主要研究了由于天气状况导致的航班到达延误，采用并行算法分析 和挖掘了航班信息和天气观测数据，验证了预测超过给定阈值的延误时具有很高的准确性
陈海燕等人将航班运行实时数据动态加入延误预测过程中,以预测连续进港航班的降 落延误为例,对航班之间的延误传递过程进行分析,建立相应的状态空间模型;给出动态数 据驱动的航班延误预测框架及预测过程,该方法能获得较高的预测准确度和良好的预测稳 定性 总的来说,目前航班延误预测的研究方法主要分为两类:一类是分类预测,如对延误 与否或延误程度的定性预测,可采用贝叶斯网络、C4.5决策树分类方法以及双通道卷积神 经网络等方法:另一类是回归预测,如对某一时间段的延误架次或延误时间的定量预测, 可通过时间序列、支持向量机以及随机森林等方法进行预测。但目前主流方法在表征延误 内在特性方面能力较弱,导致预测精度还不尽人意,并且在泛化性能方面较差 深度学习方法在各领域的成功应用,特别是长短期记忆(LSTM: Long short-term memory)神经网络对时间序列数据具有较强的表征能力,在预测精度上明显优于传统机器 学习方法田。本文将LSIM神经网络推广应用到航班延误预测,提出一种时空LSTM航班延 误预测模型,提高航班延误预测精度。本文方法主要两个方面的创新点:(a)由于航班延 误在机场内和机场之间进行传播,通过利用相关系数法对影响机场延误的时空特征进行分 析,构建时间特征变量和空间特征变量(b)首次将LSTM神经网络推广和应用到机场航班 延误预测中,构建一种时空LSTM神经网络模型,从而可以更好地表征机场时空关联信息 通过实际数据集对模型进行验证,证明时空LSIM神经网络模型对于延误预测方面优于主流 方法。 二、数据源及预处理 本文实验数据来源于美国FA的ASPM数据库(ww.faa.gov),获取了2015年1月至 2018年11月美国77主要关联机场的航班延误相关数据,共计2462336条数据,每条数据 包含机场信息、日期、时间、离港飞机数量、到港飞机数量、小时离港平均延误、小时到 港平均延误、离港延误率、到港延误率等属性。图1为208年η7个主要机场的航班延误 分布图,其中红色圆形面积表示延误航班的数量,面积越大延误的数量越多。从图中可以 看出,平均延误在50分钟以上的机场有3个,延误在20分钟以下的机场有7个,大部分 机场延误在30到40分钟之间。延误排名前三的机场分别是ANC(安克雷奇国际机场) MIA(迈阿密国际机场)以及ORD(奥黑尔国际机场) 通过对原始数据进行质量分析发现,数据中含有一定的空值、异常值、重复数据和缺失 数据,分别占数据的8%、7.6%、2.3%和8.3%,共计占总数据的26.2%。这些异常数据将会对 模型建立和延误预测带来较大的干扰。为保证数据的正确性和有效性,避免数据不稳定对预 测效果造成影响,根据质量分析的结果,对数据进行预处理。经过数据预处理后,整理出77
[10] 。陈海燕等人将航班运行实时数据动态加入延误预测过程中，以预测连续进港航班的降 落延误为例,对航班之间的延误传递过程进行分析,建立相应的状态空间模型；给出动态数 据驱动的航班延误预测框架及预测过程，该方法能获得较高的预测准确度和良好的预测稳 定性[11] 。 总的来说，目前航班延误预测的研究方法主要分为两类：一类是分类预测，如对延误 与否或延误程度的定性预测，可采用贝叶斯网络、C4.5决策树分类方法以及双通道卷积神 经网络等方法；另一类是回归预测，如对某一时间段的延误架次或延误时间的定量预测， 可通过时间序列、支持向量机以及随机森林等方法进行预测。但目前主流方法在表征延误 内在特性方面能力较弱，导致预测精度还不尽人意，并且在泛化性能方面较差。 深度学习方法在各领域的成功应用，特别是长短期记忆(LSTM: Long Short-term memory)神经网络对时间序列数据具有较强的表征能力，在预测精度上明显优于传统机器 学习方法[12-14] 。本文将LSTM神经网络推广应用到航班延误预测，提出一种时空LSTM航班延 误预测模型，提高航班延误预测精度。本文方法主要两个方面的创新点：（a）由于航班延 误在机场内和机场之间进行传播，通过利用相关系数法对影响机场延误的时空特征进行分 析，构建时间特征变量和空间特征变量（b）首次将LSTM神经网络推广和应用到机场航班 延误预测中，构建一种时空LSTM神经网络模型，从而可以更好地表征机场时空关联信息。 通过实际数据集对模型进行验证，证明时空LSTM神经网络模型对于延误预测方面优于主流 方法。 二、数据源及预处理 本文实验数据来源于美国 FAA 的 ASPM 数据库（www.faa.gov），获取了 2015 年 1 月至 2018 年 11 月美国 77 主要关联机场的航班延误相关数据，共计 2462336 条数据，每条数据 包含机场信息、日期、时间、离港飞机数量、到港飞机数量、小时离港平均延误、小时到 港平均延误、离港延误率、到港延误率等属性。图 1 为 2018 年 77 个主要机场的航班延误 分布图，其中红色圆形面积表示延误航班的数量，面积越大延误的数量越多。从图中可以 看出，平均延误在 50 分钟以上的机场有 3 个，延误在 20 分钟以下的机场有 7 个，大部分 机场延误在 30 到 40 分钟之间。延误排名前三的机场分别是 ANC（安克雷奇国际机场）， MIA（迈阿密国际机场）以及 ORD(奥黑尔国际机场)。 通过对原始数据进行质量分析发现，数据中含有一定的空值、异常值、重复数据和缺失 数据，分别占数据的8%、7.6%、2.3%和8.3%，共计占总数据的26.2%。这些异常数据将会对 模型建立和延误预测带来较大的干扰。为保证数据的正确性和有效性，避免数据不稳定对预 测效果造成影响，根据质量分析的结果，对数据进行预处理。经过数据预处理后，整理出77
个主要机场的延误数据,共计2431156条数据 图1机场延误分布图 三、时空特征变量 如何来构建表征延误特征的变量,对延误预测精度至关重要,本节将根据机场延误的 时空相关性来构建表征机场延误的特征变量。 般来说,在同一个机场中,前一时刻的航班延误会影响到后一时刻航班正常起飞, 导致航班延误在整个机场中传播,会导致每天不同时间点延误程度不一样。此外,由于周 至周日每天航班量会有所差别,航班越多,机场延误程度概率会更高。因此利用星期属 性可以在一定程度上表征延误程度。同样,由于天气情况是影响延误最重要的因素,而每 个机场之间天气差别比较大,利用月份作为延误特征属性,可以表征天气对延误的影响。 根据各机场历史延误程度,将美国77个主要机场分为高延误机场、中等延误机场和低延误 机场。通过对三类机场分别进行统计分析,发现三类机场在时间周期上存在类似的分布特 性。图2(a)给出了三类在一天中每个小时的平均延误情况,每个小时的延误会有一定波动 性,其中低延误机场的延误水平较低,波动性较弱。从图2(b)可以看出,星期一至星期天, 每天的平均延误程度不一样,最长可延误80分钟左右,同理,低延误机场的表征能力较 弱。从图2(c)可以看出,对于高等延误机场,延误水平每月有很强的波动性且平均延误时 间较髙;对于中等延误机场,延误水平随着时间变量无较大波动且平均延误时间中等:而低 延误机场整体延误水平极低。综上所述,能够发现延误水平与时间类型有较强的关联性 小时属性可以表征一天中不同时间点的延误波动特性,反映航班延误的机场内部延误分布 特性。同样,星期可以反映航班量的多少,月份可以反映天气情况,从而可以间接表征航 班延误程度。因此,本文将小时、星期和月份三个属性作为时间特征变量 机场延误除了和时间有相关性外,延误在机场之间也会相互传播,比如机场的航班离 港会受到目的地机场延误情况的影响,当目的地机场出现恶劣天气时,通常会出现机场大 面积延误,从而会影响到关联机场的航班离港,导致关联机场出发航班出现延误。从图
个主要机场的延误数据，共计2431156条数据。 图1 机场延误分布图 三、时空特征变量 如何来构建表征延误特征的变量，对延误预测精度至关重要，本节将根据机场延误的 时空相关性来构建表征机场延误的特征变量。 一般来说，在同一个机场中，前一时刻的航班延误会影响到后一时刻航班正常起飞， 导致航班延误在整个机场中传播，会导致每天不同时间点延误程度不一样。此外，由于周 一至周日每天航班量会有所差别，航班越多，机场延误程度概率会更高。因此利用星期属 性可以在一定程度上表征延误程度。同样，由于天气情况是影响延误最重要的因素，而每 个机场之间天气差别比较大，利用月份作为延误特征属性，可以表征天气对延误的影响。 根据各机场历史延误程度，将美国77个主要机场分为高延误机场、中等延误机场和低延误 机场。通过对三类机场分别进行统计分析，发现三类机场在时间周期上存在类似的分布特 性。图2(a)给出了三类在一天中每个小时的平均延误情况，每个小时的延误会有一定波动 性,其中低延误机场的延误水平较低，波动性较弱。从图2(b)可以看出，星期一至星期天， 每天的平均延误程度不一样，最长可延误80分钟左右，同理，低延误机场的表征能力较 弱。从图2(c)可以看出，对于高等延误机场，延误水平每月有很强的波动性且平均延误时 间较高;对于中等延误机场，延误水平随着时间变量无较大波动且平均延误时间中等；而低 延误机场整体延误水平极低。综上所述，能够发现延误水平与时间类型有较强的关联性。 小时属性可以表征一天中不同时间点的延误波动特性，反映航班延误的机场内部延误分布 特性。同样，星期可以反映航班量的多少，月份可以反映天气情况，从而可以间接表征航 班延误程度。因此，本文将小时、星期和月份三个属性作为时间特征变量。 机场延误除了和时间有相关性外，延误在机场之间也会相互传播，比如机场的航班离 港会受到目的地机场延误情况的影响，当目的地机场出现恶劣天气时，通常会出现机场大 面积延误，从而会影响到关联机场的航班离港，导致关联机场出发航班出现延误。从图
2(d)可知,机场的出发延误和到达延误有较强的相关性,具有同步增长的趋势。同时, 个机场的航班延误情况与其所在的航线网络以及连接的始发到达机场的延误水平有着较大 的关联,相关联的机场航班延误情况会相互波及,关联的机场越多,航班越繁忙,造成延 误的可能性越大。依据η7个机场的平均延误水平,高延误机场均位于美国较为繁华的城 市。根据以上分析,为了预测某个机场的延误,除了以该机场的出发延误和到达延误作为 特征变量外,将关联机场的出发延误和到达延误作为特征属性。此外,本文还将国家空域 状态作为延误特征属性,利用聚类分析法对2015年1月至2018年1月数据进行挖掘,将整个 空域系统的延误状态分为6类。 一高误机场一一中等误机场 低误机 高运机场一普一中等识机场一低延试机场 0113456789101112131415161712192021222 母小时 高误误机场一中等机晒一低误机暗 10—出发延误—到达延误一 0300 一金 图2机场延误趋势图.(a)小时延误分布图,(b)星期延误分布图,(c)月延误分布图,(d)不同 机场离港和到港延误情况 四、时空LSTM预测模型 LSTM神经网络由 Hochreiter和 Schmidhuber在1997年提出,是RN网络的一种变形,通 过对RN神经网络隐藏层的设计做了改进,有效克服了梯度消失问题。目前已经被广泛应用 于机器翻译、语音识别等自然语言处理领域,特别是在地面交通预测方面,预测性能 优于传统的时间序列模型方法四。 与城市交通流预测具有类似的特性,对某个机场未来某个时间段的平均延误进行预 测,本文提出将LSIM神经网络推广和应用到机场航班延误预测,并结合第三部分所构建的 机场延误时空特征变量,构建一种时空LSIM网络航班延误预测模型。时空LSTM网络结构如 图3所示,利用横坐标表示时间变量,可以表征延误在时间上的传播特性,而纵坐标表示
2(d)可知，机场的出发延误和到达延误有较强的相关性，具有同步增长的趋势。同时，一 个机场的航班延误情况与其所在的航线网络以及连接的始发到达机场的延误水平有着较大 的关联，相关联的机场航班延误情况会相互波及，关联的机场越多，航班越繁忙，造成延 误的可能性越大。依据77个机场的平均延误水平，高延误机场均位于美国较为繁华的城 市。根据以上分析，为了预测某个机场的延误，除了以该机场的出发延误和到达延误作为 特征变量外，将关联机场的出发延误和到达延误作为特征属性。此外，本文还将国家空域 状态作为延误特征属性，利用聚类分析法对2015年1月至2018年11月数据进行挖掘，将整个 空域系统的延误状态分为6类。 (a) (b) (c) (d) 图2 机场延误趋势图.(a)小时延误分布图,(b)星期延误分布图,(c)月延误分布图,(d)不同 机场离港和到港延误情况 四、时空 LSTM 预测模型 LSTM 神经网络由Hochreiter和Schmidhuber在1997年提出，是RNN网络的一种变形，通 过对RNN神经网络隐藏层的设计做了改进，有效克服了梯度消失问题。目前已经被广泛应用 于机器翻译、语音识别等自然语言处理领域[15-22] ，特别是在地面交通预测方面，预测性能 优于传统的时间序列模型方法[23-30] 。 与城市交通流预测具有类似的特性，对某个机场未来某个时间段的平均延误进行预 测，本文提出将LSTM神经网络推广和应用到机场航班延误预测，并结合第三部分所构建的 机场延误时空特征变量，构建一种时空LSTM网络航班延误预测模型。时空LSTM网络结构如 图3所示，利用横坐标表示时间变量，可以表征延误在时间上的传播特性，而纵坐标表示
N个关联机场,可以表征延误在空间传播特性,其中X,表示第i机场在t时刻的输入特 征,W表示1时刻的网络权值,M(i,)表示第i个机场在时刻的记忆单元,O表示t时刻 的延误预测值。在图3所示的网络结构中,最核心的处理单元是记忆单元,每个记忆单元的 输入由前一时刻的相关航路机场状态决定,这个过程由向量合成器合成,在图中用菱形表 示。图4是记忆处理单元示意图,通过4个相互交汇的“门”单元,来控制着每一时间步t对 记忆信息的更新 L… (t-1,n) I(tip, n) L…① I(t-1. j L… )“如m-+m )输入向量集成 TS-LSTMI的记忆单元 图3时空LSTM网络示意图 C Ct ft, tanh 、U、b,、U a、, 图4记忆处理单元示意图 通过4个相互交汇的“门”单元,来控制着每一时间步t对记忆信息的修改。如图4所 示,其中忘记门,训练的是,f,J,的权值,而且上一时刻的输出和当前时刻的 输入是一个合并操作。通过如下一个激活函数来实现 fi, =sigmoid(Wi.i ,5-4+Ur,xx,+ (1) 其中 sigmoid函数的输出是一个小于1的值,相当于对每个维度上的值做一个衰减,当函数
N 个关联机场，可以表征延误在空间传播特性，其中 Xi t, 表示第i 机场在t 时刻的输入特 征，Wt 表示t 时刻的网络权值， M it (, ) 表示第i 个机场在t 时刻的记忆单元，Ot 表示t 时刻 的延误预测值。在图3所示的网络结构中，最核心的处理单元是记忆单元，每个记忆单元的 输入由前一时刻的相关航路机场状态决定，这个过程由向量合成器合成，在图中用菱形表 示。图4是记忆处理单元示意图，通过4个相互交汇的“门”单元，来控制着每一时间步t对 记忆信息的更新。 图 3 时空 LSTM 网络示意图 C Ct-1,j Ct,j σ σ tanh σ tanh S xt,j st,j f it,j Ct,j ’ ot,j t,j St-1,j St,j Ct,j St-1,j,xt,j , ,, T T WUb fj fj fj 、 、 , ,, T T WUb ij ij ij 、 、 , ,, T T WUb cj cj cj 、 、 , ,, T T WUb oj oj oj 、 、 图 4 记忆处理单元示意图 通过4个相互交汇的“门”单元，来控制着每一时间步t对记忆信息的修改。如图4所 示，其中忘记门，训练的是 , ,, T T WUb fj fj fj ， ， 的权值，而且上一时刻的输出和当前时刻的 输入是一个合并操作。通过如下一个激活函数来实现： , , 1, , , , ( ) T T t j f j t j f j tj f j f sigmoid W s U x b = × + ×+ − （1） 其中sigmoid函数的输出是一个小于1的值，相当于对每个维度上的值做一个衰减，当函数
值越接近于1时,表示记忆体保留的信息就越多,当函数值接近于0时,表示记忆体丢弃的 信息就越多。航班信息较多且存在很多的无用信息,此时可以将部分信息丢失。 输入门,同样通过一个激活函数来实现 =gmod(W×S-+U1x,+b,) (2) 决定了当前时刻的输入航班信息x,即此刻有多少信息能被加入到记忆信息流中, 其中, sigmoid决定了什么值需要更新。 候选门,它用来计算当前的输人与过去的记忆所具有的信息总量,其计算过程如式 (3)所示: C,=tanh(×s,+U,×x,+b,) 记忆的更新由两部分构成:第一部分是通过忘记门过滤过去的部分记忆,大小为: f,×C-1,:第二部分是添加当前的新增数据信息,添加的比例由输入门控制,大小为 ×C,。将这两部分进行组合,得到更新后的记忆信息C,为 C,:+i,×C 经过前三个门后,可以确定传递信息的删除和增加,即可以进行“细胞状态”的更新。 输出门,它控制有多少记忆信息将被用于下一阶段的更新中,即是由C,求解S,的过 程,输出门的计算公式满足式(5): O,,=sigmoid(W XS-Li+U Xxi+b) (5) 因此,时空相关性被集成在2D的LSM网络中。预测结果根据历史流量数据和不同机场之 间的相互作用而决定。训练过程如下:(a)将训练集作为输入,采用基于梯度优化的反向传 播法,通过最小化目标函数,利用LSTM训练第一层;(b)将第一层的输出作为第二层的输入 进行训练;(c)对于接下来的隐含层,同样采用(b)的方法进行迭代:(d)通过贪婪的分 层无监督学习算法对整个网络进行微调 本文时空LSIM网络延误预测算法实现步骤如下(图5): 步骤1:获取数据集,共计4年的数据,随机将其中80%作为训练数据,20%作为测试数 据。对所得数据进行数据质量分析,其次进行数据预处理,对机场航班延误的影响因素进 行特征提取,以机场一小时延误为时间间隔,将时间变量进行0-1编码,出发延误和到达延 误时间进行归一化。 步骤2:训练LSIM网络,构建延误预测模型,进行预测,其实现步骤如下: 步骤2.1:随机初始化权重矩阵和偏置向量,并且前向计算每个神经元的输出值。 步骤2.2:使用基于梯度优化的反向传播方法训练参数,以最小化损失函数为目标,反 向计算每个神经元的误差项值。与循环神经网络一样,LSTM误差项的反向传播也是包括两
值越接近于1时，表示记忆体保留的信息就越多，当函数值接近于0时，表示记忆体丢弃的 信息就越多。航班信息较多且存在很多的无用信息，此时可以将部分信息丢失。 输入门，同样通过一个激活函数来实现： , , 1, , , , ( ) T T t j ij t j ij tj ij i sigmoid W s U x b = × + ×+ − （2） 决定了当前时刻的输入航班信息 t j , x ，即此刻有多少信息能被加入到记忆信息流中， 其中，sigmoid决定了什么值需要更新。 候选门，它用来计算当前的输人与过去的记忆所具有的信息总量，其计算过程如式 （3）所示： ' , , 1, , , , tanh( T T C Ws U xb t j = × + ×+ cj t j cj tj cj − ） （3） 记忆的更新由两部分构成:第一部分是通过忘记门过滤过去的部分记忆，大小为： tj t j , 1, f C× − ；第二部分是添加当前的新增数据信息，添加的比例由输入门控制，大小为： ' tj tj , , i C× 。将这两部分进行组合，得到更新后的记忆信息Ct j , 为: ' CfCiC t j tj ， = + , t-1,j , , × × tj tj （4） 经过前三个门后，可以确定传递信息的删除和增加，即可以进行“细胞状态”的更新。 输出门，它控制有多少记忆信息将被用于下一阶段的更新中，即是由Ct j , 求解 t j , s 的过 程，输出门的计算公式满足式（5）： , , 1, , , , ( ) T T t j oj t j oj tj oj o sigmoid W s U x b = × + ×+ − （5） 因此，时空相关性被集成在2D的LSTM网络中。预测结果根据历史流量数据和不同机场之 间的相互作用而决定。训练过程如下：（a）将训练集作为输入，采用基于梯度优化的反向传 播法，通过最小化目标函数，利用LSTM训练第一层；（b）将第一层的输出作为第二层的输入， 进行训练；（c）对于接下来的隐含层，同样采用（b）的方法进行迭代；（d）通过贪婪的分 层无监督学习算法对整个网络进行微调。 本文时空LSTM网络延误预测算法实现步骤如下（图5）： 步骤1：获取数据集，共计4年的数据，随机将其中80%作为训练数据，20%作为测试数 据。对所得数据进行数据质量分析，其次进行数据预处理，对机场航班延误的影响因素进 行特征提取，以机场一小时延误为时间间隔，将时间变量进行0-1编码，出发延误和到达延 误时间进行归一化。 步骤2：训练LSTM网络，构建延误预测模型，进行预测，其实现步骤如下： 步骤2.1：随机初始化权重矩阵和偏置向量，并且前向计算每个神经元的输出值。 步骤2.2：使用基于梯度优化的反向传播方法训练参数，以最小化损失函数为目标，反 向计算每个神经元的误差项值。与循环神经网络一样，LSTM误差项的反向传播也是包括两
个方向:一个是沿时间的反向传播,即从当前t时刻开始,计算每个时刻的误差项:另一个 是将误差项向上一层传播,根据相应的误差项,计算每个权重的梯度。对于不同的机场单 位,训练相应的LSTM单元 步骤2.3:微调整个网络:通过贪婪的分层无监督学习算法对整个网络进行微调,使用 第k层的输出作为第(k+1)层的输入。对于第一个隐藏层,输入是先验知识,微调整个网 络的参数是一种自上而下的方式。 步骤3:最后结合历史数据,按照以上步骤训练网络,获得机场延误预测模型,进行延 误预测,得到具体延误值 数据质量分析 数据预处理 历史数据 训练数据→→时空特征提取 机场延误预测模型一 预测值 TS-LSTM 图5时空LsTM算法实现流程图 五、实验结果与分析 本节首先通过实验选取模型的最优参数,然后验证时空LSTM(记为“ TS-LSTM”)延 误预测模型在三类不同延误程度机场的预测结果,最后通过与主流方法预测方法进行对 比,验证本文方法的优越性。本文方法采用 python编程实现,运行环境为 Intel(R) Core(IM)i5-830 OH CPU鳃2.30Gz处理器,96GB运行内存,64位 Windows10操作系统。为 了评价预测精度,本文采用平均绝对误差(MAE)、平均相对误差(MRE)、均方根差 (RMSE)三个指标进行评价,计算公式如下 MAE=1∑-川 (7) RE=ISE (8) f RMse= 其中∫表示实际值,表示预测值,n表示预测值个数
个方向：一个是沿时间的反向传播，即从当前t时刻开始，计算每个时刻的误差项；另一个 是将误差项向上一层传播，根据相应的误差项，计算每个权重的梯度。对于不同的机场单 位，训练相应的LSTM单元。 步骤2.3：微调整个网络：通过贪婪的分层无监督学习算法对整个网络进行微调，使用 第k层的输出作为第（k+1）层的输入。对于第一个隐藏层，输入是先验知识，微调整个网 络的参数是一种自上而下的方式。 步骤3：最后结合历史数据，按照以上步骤训练网络，获得机场延误预测模型，进行延 误预测，得到具体延误值。 图 5 时空 LSTM 算法实现流程图 五、实验结果与分析 本节首先通过实验选取模型的最优参数，然后验证时空LSTM (记为“TS-LSTM”)延 误预测模型在三类不同延误程度机场的预测结果，最后通过与主流方法预测方法进行对 比，验证本文方法的优越性。本文方法采用python编程实现, 运行环境为Intel(R) Core(TM) i5-8300H CPU @2.30GHz处理器，96GB运行内存，64位Windows 10操作系统。为 了评价预测精度，本文采用平均绝对误差（MAE）、平均相对误差（MRE）、均方根差 （RMSE）三个指标进行评价，计算公式如下： 1 1 ˆ n i i i MAE f f n = = − ∑ （7） 1 ˆ 1 n i i i i f f MRE n f = − = ∑ （8） 1 2 2 1 1 ˆ ( ) n i i i RMSE f f n = = − ∑ （9） 其中 i f 表示实际值， ˆ i f 表示预测值, n 表示预测值个数
(一)模型参数设定 关于LSIM网络结构,需要确定输入层的大小、隐藏层数以及每个隐藏层中隐藏单元的 数目。隐含层节点数对网络模型的预测精度有较大的影响,节点数太少,网络不能很好的 学习,训练的精度也受到影响,需要增加训练次数:节点数太多,训练的时间增加,网络 容易过拟合。在执行网格搜索运行后,获得了最佳体系结构,由两层编码层组成。实验情况 表明,编码层的隐含层节点数不宜取过小,否则将容易出现过拟合现象 对于输入层,其中时间间隔k决定了输入层数据的结构,考虑将过去k小时作为输入。 对于隐藏层数,我们选择一到七层的网络结构,每层中的节点数设置为相同,为10,20, 40,80,160,320,640,1000。在学习阶段,迭代次数也十分重要,迭代次数过大,该 模型将过拟合。在这里迭代次数的范围设置无限,到损失值达到平稳时停止。首先将所有 可选择参数进行随机组合,从中选择1000个组合进行运行测试,在执行网络搜索后,选择 最佳配置。最佳的网络结构为:网络层数大小为2,层中的节点为80,迭代次数为160,时 间间隔t为2。 在最优参数固定后,对选取初始时间片个数k和迭代次数 epoch的灵敏性进行测试。图6 a)给出了这两个参数的结果,k取值为2时,预测误差达到最低值,k取值大于2时,预测 误差逐渐增大,因此在误差率较小的情况下,2为k的最优取值。同时,如图6(b)所示,迭 代次数 epoch到160左右达到平稳,且考虑迭代次数越多,网络训练时间越长。 n、… (a)初始时间片长度 (b)迭代次数 图6初始时间片长度和迭代次数灵敏性分析 (二)结果分析 为了验证本文方法的预测精度,首先利用根据机场历史延误值,利用聚类方法对机场 美国η7个主要机场进行聚类,将机场分为高延误机场、中等延误机场、低延误机场三类。 进一步,利用本文方法对三类机场分别进行预测。图7给出了本文方法在三类机场的预测结 果和真实结果值。可以看出,本文方法对高延误机场的预测精度要高于低延误机场,主要 原因是高延误机场整体延误水平较高,延误分布具有一定的规律性,而对于低延误机场, 由于该类机场延误具有一定的随机性,影响了延误预测的精度
（一）模型参数设定 关于LSTM网络结构，需要确定输入层的大小、隐藏层数以及每个隐藏层中隐藏单元的 数目。隐含层节点数对网络模型的预测精度有较大的影响，节点数太少，网络不能很好的 学习，训练的精度也受到影响，需要增加训练次数；节点数太多，训练的时间增加，网络 容易过拟合。在执行网格搜索运行后, 获得了最佳体系结构,由两层编码层组成。实验情况 表明，编码层的隐含层节点数不宜取过小，否则将容易出现过拟合现象。 对于输入层，其中时间间隔k决定了输入层数据的结构，考虑将过去k小时作为输入。 对于隐藏层数，我们选择一到七层的网络结构，每层中的节点数设置为相同，为10，20， 40，80，160，320，640，1000。 在学习阶段，迭代次数也十分重要，迭代次数过大，该 模型将过拟合。在这里迭代次数的范围设置无限，到损失值达到平稳时停止。首先将所有 可选择参数进行随机组合，从中选择1000个组合进行运行测试，在执行网络搜索后，选择 最佳配置。最佳的网络结构为：网络层数大小为2，层中的节点为80，迭代次数为160，时 间间隔t为2。 在最优参数固定后，对选取初始时间片个数k和迭代次数epoch的灵敏性进行测试。图6 （a）给出了这两个参数的结果，k取值为2时，预测误差达到最低值，k取值大于2时，预测 误差逐渐增大，因此在误差率较小的情况下，2为k的最优取值。同时，如图6(b)所示，迭 代次数epoch到160左右达到平稳，且考虑迭代次数越多，网络训练时间越长。 (a)初始时间片长度 (b)迭代次数 图6 初始时间片长度和迭代次数灵敏性分析 （二）结果分析 为了验证本文方法的预测精度，首先利用根据机场历史延误值，利用聚类方法对机场 美国77个主要机场进行聚类，将机场分为高延误机场、中等延误机场、低延误机场三类。 进一步，利用本文方法对三类机场分别进行预测。图7给出了本文方法在三类机场的预测结 果和真实结果值。可以看出，本文方法对高延误机场的预测精度要高于低延误机场，主要 原因是高延误机场整体延误水平较高，延误分布具有一定的规律性，而对于低延误机场， 由于该类机场延误具有一定的随机性，影响了延误预测的精度。 0 5 10 15 20 0 5 10 15 RMSE k
为了验证本文算法的优越性,将本文TS-LSTM与LSTM、BP神经网络、SWM、 ARIMA等方法 进行对比实验。针对美国77个主要机场,利用不同方法预测不同时长的延误值,表1给出所 有机场平均延误的实验结果。从对比结果来看,采用的 ARIMA预测效果较差,相对误差率在 4C%左右,预测的相对误差大部分在20分钟以上,能够看出传统模型不适用于具有高维且 预测值 真实值 W11 100 时间 (a)高延误机场 预测值 真实值 140 120 运回 80 R60 100 200 时间 (b)中等延误机场 预测值 真实值 应50 10 时间
为了验证本文算法的优越性，将本文TS-LSTM与LSTM、BP神经网络、SVM、ARIMA等方法 进行对比实验。针对美国77个主要机场，利用不同方法预测不同时长的延误值，表1给出所 有机场平均延误的实验结果。从对比结果来看，采用的ARIMA预测效果较差，相对误差率在 40%左右，预测的相对误差大部分在20分钟以上，能够看出传统模型不适用于具有高维且 （a）高延误机场 （b）中等延误机场 0 20 40 60 80 100 120 140 0 50 100 150 200 延误时间（Min 时间 预测值 真实值 0 20 40 60 80 100 120 140 160 0 50 100 150 200 延误时间(Min) 时间 预测值 真实值 0 10 20 30 40 50 60 70 80 90 100 0 50 100 150 200 延误时间（Min) 时间 预测值 真实值
