适用于5G毫米波车载通信的机器学习算法 一、问题描述 1.背景介绍 为了实现未来的智能车联网(vehicle-to-everything,V2X)通信，必须保证 其拥有高速的数据链以获取精准的车辆传感数据（如高清地图，雷达数据等）， 这些数据对于实现车辆的（半）自动驾驶来说是必需的。基于4GLTE-A系统使 用的6G以下频段阻塞严重的情况，5G中预计充分利用毫米波频段(10-300GHZ)。 之前毫米波频段没有被充分使用是因为其存在高路径损耗和穿透损耗，但最 近的研究表明通过定向传输和波束成形技术可以弥补路径损耗，而提高基站部署 密度可以解决毫米波通信距离过短的方法。但要实现毫米波通信仍然有以下两个 问题需要解决：1)定向传输需要基站与车辆之间精确的波束校准：2)毫米波信 号传播时极易被阻塞（如有建筑物遮挡情况下）。 为了解决以上问题，需要保证在毫米波通信中，基站能够基于它们所处的环 境对发射波束的参数进行选择优化。同时考虑到车载通信所处的环境是动态的， 我们希望基站具有自主探索、学习和适应其周围环境的能力，以实现对发射波束 的精准选择，尽可能减少毫米波通信的损耗，并提高通信系统的容量。 2.具体问题和其必要性 在论文中具体要解决的问题是为毫米波基站提供具有环境感知能力的波束 选择决策方法，它需要同时满足以下条件：1)具有与车辆精准和高效定向通信 的能力2)具有自动学习和适应动态车载通信环境和基站周围环境的能力。对于 基站波束选择的决策，论文中以整个通信网络的容量最大化作为优化目标。 正如上文的背景介绍中所说，毫米波技术是实现智能车联网通信最重要的技 术之一。而本文中提出的机器学习算法，解决了以下两个重要问题：1)对动态车 载通信环境和基站环境的自动学习和适应，保证了通信的稳定性，减少了被阻塞 的概率2)实现精准的波束选择，保证了系统通信容量的最大化。 二、机器学习算法主要思路（框架) 1.方法选择和问题建模 论文中将毫米波基站中的波束选择建模为一个多臂赌博机问题。在多臂赌博 机问题中，决策的奖励是未知的，决策者每次必须选择所有可能决策集合中的一
适用于 5G 毫米波车载通信的机器学习算法 一、 问题描述 1. 背景介绍 为了实现未来的智能车联网（vehicle-to-everything，V2X）通信，必须保证 其拥有高速的数据链以获取精准的车辆传感数据（如高清地图，雷达数据等）， 这些数据对于实现车辆的（半）自动驾驶来说是必需的。基于 4GLTE-A 系统使 用的 6G 以下频段阻塞严重的情况，5G 中预计充分利用毫米波频段（10-300GHZ）。 之前毫米波频段没有被充分使用是因为其存在高路径损耗和穿透损耗，但最 近的研究表明通过定向传输和波束成形技术可以弥补路径损耗，而提高基站部署 密度可以解决毫米波通信距离过短的方法。但要实现毫米波通信仍然有以下两个 问题需要解决：1) 定向传输需要基站与车辆之间精确的波束校准；2) 毫米波信 号传播时极易被阻塞（如有建筑物遮挡情况下）。 为了解决以上问题，需要保证在毫米波通信中，基站能够基于它们所处的环 境对发射波束的参数进行选择优化。同时考虑到车载通信所处的环境是动态的， 我们希望基站具有自主探索、学习和适应其周围环境的能力，以实现对发射波束 的精准选择，尽可能减少毫米波通信的损耗，并提高通信系统的容量。 2. 具体问题和其必要性 在论文中具体要解决的问题是为毫米波基站提供具有环境感知能力的波束 选择决策方法，它需要同时满足以下条件：1) 具有与车辆精准和高效定向通信 的能力 2) 具有自动学习和适应动态车载通信环境和基站周围环境的能力。对于 基站波束选择的决策，论文中以整个通信网络的容量最大化作为优化目标。 正如上文的背景介绍中所说，毫米波技术是实现智能车联网通信最重要的技 术之一。而本文中提出的机器学习算法，解决了以下两个重要问题：1) 对动态车 载通信环境和基站环境的自动学习和适应，保证了通信的稳定性，减少了被阻塞 的概率 2) 实现精准的波束选择，保证了系统通信容量的最大化。 二、 机器学习算法主要思路（框架） 1. 方法选择和问题建模 论文中将毫米波基站中的波束选择建模为一个多臂赌博机问题。在多臂赌博 机问题中，决策的奖励是未知的，决策者每次必须选择所有可能决策集合中的一
个子集，他的优化目标是保证随着时间的推移使决策获得的奖励最大化。选择这 种多臂赌博机问题建模的好处是：1)适用性，毫米波基站同时只能使用有限的 一组波束，因此，基站需要在一段时间内通过选择使用所有可能波束组合的子集 来识别出最优的波束组合。所以多臂赌博机建模适用于波束选择问题。2)通过 使用多臂赌博问题的解决方法，毫米波基站不仅可以了解平均来说哪些波束组合 是最好的，而且还可以利用与基站附近行驶车辆有关的额外信息来识别在给定的 交通情况下哪些波束组合是最好的： 具体来说，论文中假设一个毫米波基站只能在有限离散的方向上发射波束 (波束集合的模记为B),并且一个基站同时只能发出有限的波束组合（同时 发射的波束个数为m,m<B)。而基站的目标则是要选择m个波束的组合，使得 其在自己负责区域内向行驶车辆成功发送的数据总量最大化。同时，论文中假设 基站没有周围环境的先验信息，因此基站需要自己在线学习如何在给定环境中选 择最优的波束组合。 2.算法思路和要点 通过不断发射波束并得到反馈，基站可以不断得到一部分波束选择决策下的 期望表现，并在后来的周期中利用这一部分先验信息提高系统总体预期达到的性 能表现。但因为环境未知，基站同时需要尝试发射不同的波束组合以学习周围环 境，但这样做可能会导致当前的性能变差。所以需要基站在平衡当前收益和探索 未知环境代价的情况下，同时利用已知的高收益波束选择保证当前性能和发射一 部分未知的波束组合用于学习未知环境和波束的收益。 上述的问题对应了一个环境感知的多臂赌博机问题，可以通过一个在线的机 器学习算法进行优化。这个算法的假设前提是对于相近的车辆环境位置来说，同 样的一个波束会同样有相近的收益表现。算法的要点如下： 1)在算法中，首先将基站的周围环境均匀地划分为一组更小的具有相似内 部环境的集合（即在每个小环境中一个特定波束的收益是相同的），然 后再分别了解这些小集合中不同波束的收益性能。 2)然后，在每个离散周期内，算法要么进入探索阶段，要么进入使用阶段。 它进入的阶段是根据周围车辆的位置和控制功能来决定的。在探索阶段， 该算法随机选择所有波束组合中的一个子集。在使用阶段，该算法选择 在前一阶段的选择中表现出具有最高收益性能的波束组合。算法的反馈 通过观察通信系统中车辆成功接收到的数据量得到，获得波束的收益估 计
个子集，他的优化目标是保证随着时间的推移使决策获得的奖励最大化。选择这 种多臂赌博机问题建模的好处是：1) 适用性，毫米波基站同时只能使用有限的 一组波束，因此，基站需要在一段时间内通过选择使用所有可能波束组合的子集 来识别出最优的波束组合。所以多臂赌博机建模适用于波束选择问题。2) 通过 使用多臂赌博问题的解决方法，毫米波基站不仅可以了解平均来说哪些波束组合 是最好的，而且还可以利用与基站附近行驶车辆有关的额外信息来识别在给定的 交通情况下哪些波束组合是最好的。 具体来说，论文中假设一个毫米波基站只能在有限离散的方向上发射波束 （波束集合的模记为 B ），并且一个基站同时只能发出有限的波束组合 （同时 发射的波束个数为 m m B , ）。而基站的目标则是要选择 m 个波束的组合，使得 其在自己负责区域内向行驶车辆成功发送的数据总量最大化。同时，论文中假设 基站没有周围环境的先验信息，因此基站需要自己在线学习如何在给定环境中选 择最优的波束组合。 2. 算法思路和要点 通过不断发射波束并得到反馈，基站可以不断得到一部分波束选择决策下的 期望表现，并在后来的周期中利用这一部分先验信息提高系统总体预期达到的性 能表现。但因为环境未知，基站同时需要尝试发射不同的波束组合以学习周围环 境，但这样做可能会导致当前的性能变差。所以需要基站在平衡当前收益和探索 未知环境代价的情况下，同时利用已知的高收益波束选择保证当前性能和发射一 部分未知的波束组合用于学习未知环境和波束的收益。 上述的问题对应了一个环境感知的多臂赌博机问题，可以通过一个在线的机 器学习算法进行优化。这个算法的假设前提是对于相近的车辆环境位置来说，同 样的一个波束会同样有相近的收益表现。算法的要点如下： 1) 在算法中，首先将基站的周围环境均匀地划分为一组更小的具有相似内 部环境的集合（即在每个小环境中一个特定波束的收益是相同的），然 后再分别了解这些小集合中不同波束的收益性能。 2) 然后，在每个离散周期内，算法要么进入探索阶段，要么进入使用阶段。 它进入的阶段是根据周围车辆的位置和控制功能来决定的。在探索阶段， 该算法随机选择所有波束组合中的一个子集。在使用阶段，该算法选择 在前一阶段的选择中表现出具有最高收益性能的波束组合。算法的反馈 通过观察通信系统中车辆成功接收到的数据量得到，获得波束的收益估 计
三、收获与感想 论文的分析表明，尽管车载毫米波通信问题存在损耗严重和易受阻塞等问题， 但通过利用在线机器学习算法，可以实现对动态车辆环境的自动学习和适应，并 保证基站在做出波束选择决策时实现系统容量的最大化。， 另外值得思考的是，论文利用了多臂赌博机建模思想，将原本复杂的动态车 载环境感知波束选择问题，抽象成了一个常用的已经被广泛研究的问题，这减 少了对该问题的解决难度。也提醒我们在以后的研究中，对于新出现的难以解决 的物理问题可以通过仔细分析其需求及条件，将其抽象为一个己知的数学模型， 最后利用前人的研究成果，更好地解决问题。 参考文献 [1]A.Asadi,S.Muller,G.H.Sim,A.Klein and M.Hollick,"FML:Fast Machine Learning for 5G mm Wave Vehicular Communications,"IEEE INFOCOM 2018-IEEE Conference on Computer Communications,Honolulu,HI,2018,pp.1961-1969
三、收获与感想 论文的分析表明，尽管车载毫米波通信问题存在损耗严重和易受阻塞等问题， 但通过利用在线机器学习算法，可以实现对动态车辆环境的自动学习和适应，并 保证基站在做出波束选择决策时实现系统容量的最大化。， 另外值得思考的是，论文利用了多臂赌博机建模思想，将原本复杂的动态车 载环境感知-波束选择问题，抽象成了一个常用的已经被广泛研究的问题，这减 少了对该问题的解决难度。也提醒我们在以后的研究中，对于新出现的难以解决 的物理问题可以通过仔细分析其需求及条件，将其抽象为一个已知的数学模型， 最后利用前人的研究成果，更好地解决问题。 参考文献 [1] A. Asadi, S. Müller, G. H. Sim, A. Klein and M. Hollick, "FML: Fast Machine Learning for 5G mmWave Vehicular Communications," IEEE INFOCOM 2018 - IEEE Conference on Computer Communications, Honolulu, HI, 2018, pp. 1961-1969
