网络来做分类任务和目标检测任务。但是,体素化处理有着两个方面的缺陷:数据的稀疏性 和计算量的增加。一方面,3D点云数据密度分布不均匀,某些区域点云较为稀疏,会给提取 特征造成一定的影响。[10][11]的提出在某些程度上解决了数据稀疏的问题,但是体素化处 理后的表现仍然没有直接在点云数据上使用深度学习模型好。另一方面是相对于二维卷积 因为多了一个维度,体素化处理后的三维卷积使得计算量大大增加,空间复杂度很高,效率 就有所下降。 (三)深度学习在点云上的直接处理 近年来,研究者们提出了一系列在点云数据上直接应用深度学习模型的方法 PointNet[2]作为开拓者,指明了该领域的一大方向。针对点云的无序性问题, PointNet提 出使用 maxpooling这种对称函数来保证排列的不变性;针对保证空间变换不变性的问题, Pointnet提出在提取特征之前,先对点云数据进行对齐,具体操作是由一个空间变换网络得 到转换矩阵后,与点云相乘完成对齐操作。 Pointnet++[4]针对 PointNet局部特征提取不理 想的缺点,提出了一个分级神经网络来提取局部特征。每个分层结构由采样层、分组层、特 征提取层组成,即对每个点,按照一定规则组成一个局部区域,然后对该区域点云使用 PointNet提取特征,大大提高了分类和场景分割的效果。 PointSIFTI4针对点云的无序性 提出了一种方向编码单元,对三维坐标系中八个方向中最近的点进行卷积,并且基于 PointNet艹+的结构堆叠多次方向编码单元,使得网络结构有了多尺度感知的能力。实验证明 其有着很好的效果,但是其对八个方向的数据点进行卷积,并且沿用了 PointNet++的结构 使得计算量大大增加。F- PointNet[13]结合RGB图像,首先得到二维坐标中的检测框,据此 得到点云中相对应的一个椎体( Frustum),进而使用 PointNet或者 PointNet+结构提取特征 做3D实例分割,从而回归3D框位置。但是其比较依赖于2D图像的检测结果,并且每个椎体内 若存在多个实例也会大大影响分割效果。 全局池化下的点云处理 本文提出了一种点云数据深度学习处理方法,网络结构如图1所示,其输入为n*d的点 云数据,其中n指的是点云数目,d指的是特征维数(通常包含三维坐标xyz、反射量等)。 该网络使用多层感知机提取点云特征,并且为了使网络模型对点云的不同排列保持不变性, 使用全局最大池化和全局平均池化分别对提取的特征进行处理,得到两个全局特征向量。通 过将两个全局特征向量相串联,我们可以得到包含更多点云特征信息的表示向量。鉴于点云 数据所表示的目标特征应该要对某些空间变换保持不变性,在对点云数据提取特征之前,先 对点云进行对齐。我们改进了原有空间变换网络,仍引入了全局最大池化和全局平均池化方 法,以实现对齐操作。 (c)1994-2019ChinaAcademicJournalElectronicpUblishingHouse.Allrightsreservedhttp://www.cnki.net网络来做分类任务和目标检测任务。但是，体素化处理有着两个方面的缺陷：数据的稀疏性 和计算量的增加。一方面，3D点云数据密度分布不均匀，某些区域点云较为稀疏，会给提取 特征造成一定的影响。[10][11]的提出在某些程度上解决了数据稀疏的问题，但是体素化处 理后的表现仍然没有直接在点云数据上使用深度学习模型好。另一方面是相对于二维卷积， 因为多了一个维度，体素化处理后的三维卷积使得计算量大大增加，空间复杂度很高，效率 就有所下降。 （三）深度学习在点云上的直接处理 近年来，研究者们提出了一系列在点云数据上直接应用深度学习模型的方法。 PointNet[2]作为开拓者，指明了该领域的一大方向。针对点云的无序性问题，PointNet提 出使用maxpooling这种对称函数来保证排列的不变性；针对保证空间变换不变性的问题， PointNet提出在提取特征之前，先对点云数据进行对齐，具体操作是由一个空间变换网络得 到转换矩阵后，与点云相乘完成对齐操作。PointNet++[4]针对PointNet局部特征提取不理 想的缺点，提出了一个分级神经网络来提取局部特征。每个分层结构由采样层、分组层、特 征提取层组成，即对每个点，按照一定规则组成一个局部区域，然后对该区域点云使用 PointNet提取特征，大大提高了分类和场景分割的效果。PointSIFT[14]针对点云的无序性， 提出了一种方向编码单元，对三维坐标系中八个方向中最近的点进行卷积，并且基于 PointNet++的结构堆叠多次方向编码单元，使得网络结构有了多尺度感知的能力。实验证明 其有着很好的效果，但是其对八个方向的数据点进行卷积，并且沿用了PointNet++的结构， 使得计算量大大增加。F-PointNet[13]结合RGB图像，首先得到二维坐标中的检测框，据此 得到点云中相对应的一个椎体（Frustum），进而使用PointNet或者PointNet+结构提取特征 做3D实例分割，从而回归3D框位置。但是其比较依赖于2D图像的检测结果，并且每个椎体内 若存在多个实例也会大大影响分割效果。 三、全局池化下的点云处理 本文提出了一种点云数据深度学习处理方法，网络结构如图1所示，其输入为𝑛 ∗ 𝑑的点 云数据，其中𝑛指的是点云数目，𝑑指的是特征维数（通常包含三维坐标xyz、反射量等）。 该网络使用多层感知机提取点云特征，并且为了使网络模型对点云的不同排列保持不变性， 使用全局最大池化和全局平均池化分别对提取的特征进行处理，得到两个全局特征向量。通 过将两个全局特征向量相串联，我们可以得到包含更多点云特征信息的表示向量。鉴于点云 数据所表示的目标特征应该要对某些空间变换保持不变性，在对点云数据提取特征之前，先 对点云进行对齐。我们改进了原有空间变换网络，仍引入了全局最大池化和全局平均池化方 法，以实现对齐操作