技术摘要：
本发明公开了一种特征金字塔图卷积神经网络及其在3D点云分类中的应用。本发明通过对图卷积网络提取到的多种不同尺度的特征信息进行特征提取，在网络进行特征提取的过程中，不同深度的网络提取出的信息会有不同，通过对多种尺度可以更充分的使用网络中的特征信息，提高  全部
背景技术：
本发明提出一种特征金字塔图卷积神经网络及其在3D点云分类中的应用。本发明 可以充分的利用图网络中提取的数据关系信息，提高图网络对数据的关系处理能力，提高 在点云分类等图数据中的能力。 本发明的特征金字塔图卷积神经网络的结构，具体如下： 第一ResGCN残差图网络块，用于对输入的点云进行特征提取，得到n×32大小的特 征信息Ⅰ；特征信息Ⅰ依次通过多层感知机和图的最大池化操作得到256大小的特征信息，然 后再通过多层感知机对得到的256大小的特征信息进行预测，输出类别的预测分数Ⅰ。 第二ResGCN残差图网络块对第一块ResGCN残差图网络块输出的的特征信息Ⅰ进行 特征提取，得到n×64大小的特征信息Ⅱ；特征信息Ⅱ依次通过多层感知机和图的最大池化 操作得到512大小的特征信息，然后再通过多层感知机对得到的512大小的特征信息进行预 测，输出类别的预测分数Ⅱ。 第三ResGCN残差图网络块对第二块ResGCN残差图网络块输出的特征信息Ⅱ进行 4 CN 111612046 A 说　明　书 2/4 页 特征提取，得到n×128大小的特征图信息Ⅲ。对第一、第二和第三ResGCN残差图网络块输出 的特征信息Ⅰ、特征信息Ⅱ、特征信息Ⅲ进行合并连接，得到新的特征信息Ⅳ，通过多层感知 机和图的最大池化操作对合并连接后的特征信息Ⅳ进行操作，得到1024大小的特征信息， 然后通过多层感知机对得到的1024大小的特征信息进行预测，输出类别的预测分数Ⅲ。 对第一、第二和第三ResGCN残差图网络块最后输出的预测分数Ⅰ、Ⅱ和Ⅲ进行融 合，得出最终的预测结果。 所述的ResGCN残差图网络块通过六层ResGCN图网络组成，且中每一个图网络层的 输出是下一个图网络层的输入，每一个图网络层的输出并通过跳跃连接的方式与下一个图 网络层的输出进行组合，同时每一个图网络层的输出都连接到残差图块的最后，六个图网 络层的输出共同组合成ResGCN残差图网络块的输出。 一种特征金字塔图卷积神经网络在3D点云分类中的应用，具体应用实现如下： 步骤1：特征金字塔图卷积神经网络的训练； 在特征金字塔图卷积神经网络训练时，初始化网络学习率为0.001，网络训练的优 化器采用Adam，网络最大训练200epoch，选取网络训练中验证结果最优的模型作为网络使 用的模型。 步骤2：通过训练好的特征金字塔图卷积神经网络对输入的点云进行特征提取。 2-1 .通过第一ResGCN残差图网络块对输入的点云进行特征提取，得到n×32大小 的特征信息Ⅰ； 2-2.通过第二ResGCN残差图网络块对第一块ResGCN残差图网络块输出的的特征 信息Ⅰ进行特征提取，得到n×64大小的特征信息Ⅱ； 2-3.通过第三ResGCN残差图网络块对第二块ResGCN残差图网络块输出的特征信 息Ⅱ进行特征提取，得到n×128大小的特征图信息Ⅲ。 进一步，所述的ResGCN残差图网络块结构如下： ResGCN残差图网络块通过六层ResGCN图网络组成，每层ResGCN图网络的具体计算 方式如下： 表示该层网络的输入， 表示该层网络的输出， 是该层网络对输入的整体 映射过程， 表示该层网络中通过网络参数对输入的映射过程， 表示 的输出结果。 步骤3：对得到的三种不同尺度的特征信息Ⅰ、特征信息Ⅱ、特征信息Ⅲ分别进行预 测。 3-1.对n×32大小的特征信息Ⅰ进行预测； 先将特征信息Ⅰ依次通过多层感知机和图的最大池化操作得到256大小的特征信 息，然后再通过多层感知机对得到的256大小的特征信息进行预测，输出类别的预测分数Ⅰ。 3-2.对n×64大小的特征信息Ⅱ进行预测； 先将特征信息Ⅱ依次通过多层感知机和图的最大池化操作得到512大小的特征信 息，然后再通过多层感知机对得到的512大小的特征信息进行预测，输出类别的预测分数 5 CN 111612046 A 说　明　书 3/4 页 Ⅱ。 3-3.对第一、第二和第三ResGCN残差图网络块输出的特征信息Ⅰ、特征信息Ⅱ、特 征信息Ⅲ进行合并连接，得到新的特征信息Ⅳ，通过多层感知机和图的最大池化操作对合 并连接后的特征信息Ⅳ进行操作，得到1024大小的特征信息，然后通过多层感知机对得到 的1024大小的特征信息进行预测，输出类别的预测分数Ⅲ。 步骤4：对第一、第二和第三ResGCN残差图网络块最后输出的预测分数Ⅰ、Ⅱ和Ⅲ进 行融合，得出最终的预测结果。 所述的融合过程如下： 对预测分数Ⅰ、Ⅱ和Ⅲ进行累加，然后通过softmax计算出最终的类别预测分数(置 信度)，每个3D点云选择预测分数(置信度)最高的类别为最终的输出结果。 本发明的有益效果是： 本发明通过深层残差图网络结构对特征进行进行提取，并构建了一种特征金字塔 结构，在网络进行预测结果的以后充分的使用多种层次的特征信息，通过这种方法使得网 络在进行3D点云分类的时候拥有更好的效果，同时该结构还能运用到其他任务重，比如3D 点云的语义分割，通过对多层次信息的充分使用，提高网络在任务中表现效果。 附图说明 图1是；用于3D点云分类的特征金字塔图卷积神经网络结构图； 图2是；ResGCN残差图网络块结构图。
技术实现要素：
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。 本发明通过对图卷积网络提取到的多种不同尺度的特征信息进行特征提取，在网 络进行特征提取的过程中，不同深度的网络提取出的信息会有不同，通过对多种尺度可以 更充分的使用网络中的特征信息，提高网络的效果。 当前在使用图网络进行3D点云分类、语义分割等任务时，由于图网络在训练过程 中容易出现梯度消失/爆炸，采用的图网络比较浅，并且只使用最后一层提取到的特征进行 预测，这样会使得对特征信息的利用不够充分。 1是用于3D点云分类的特征金字塔图卷积神经网络结构图。该结构采清晰的展示 了图网络形成形成的三种尺度的特征图以及对三种尺度特征信息的预测。 图中n×3的输入表示每个3D点云对象有n个点组成，点的坐标信息(x,y,z)是每个 点输入的信息；spatial  transform是表示对输入点云信息的一种转换。ResGCN  block表示 ResGCN残差图网络块，由6层图网络通过残差结构的方式组合而成。第一个残差图块ResGCN  block1把n×3大小的输入信息提取得到n×32大小的特征信息，该层特征信息是得到的特 征金字塔中第一层信息；第二个残差图块ResGCN  block2把n×32大小的特征信息提取得到 n×64大小的特征信息，该层信息是特征金字塔中的第二层信息；第二个残差图块ResGCN  block3把n×64大小的特征信息提取得到n×128大小的特征信息；然后把三层特征信息通 过堆积组合的方式得到融合特征信息，通过多层感知机(mlp)和最大池化得到1024的输出 特征，然后通过多层感知机输出c种类别的预测结果。同理，分别对前两层的特征信息进行 6 CN 111612046 A 说　明　书 4/4 页 处理和预测。n×32大小的特征信息通过多层感知机(mlp)和最大池化得到256的输出特征， 然后通过多层感知机(mlp)输出c种类别的预测结果；n×64大小的特征信息通过多层感知 机(mlp)和最大池化得到512的输出特征，然后通过多层感知机(mlp)输出c种类别的预测结 果；对三种尺度的输出的预测结果进行筛选，置信度最高的类别为网络预测的类别。 图2是ResGCN残差图网络块结构图，该结构包含6层相同结构的图网络层，通过图 中可以看出该结构中每一层图网络层的输出为32(f＝32)，在每一层计算后对点云信息进 行动态构图，动态构图通过k-mean算法实现，每个点与最近的k个点连接，在图网络层中k值 为16。 本发明的ResGCN残差图网络块中每一个图网络层的输出是下一个图网络层的输 入，每一个图网络层的输出并通过跳跃连接的方式与下一个图网络层的输出进行组合，同 时每一个图网络层的输出都连接到残差图块的最后，六个图网络层的输出共同组合成 ResGCN残差图网络块的输出。 7 CN 111612046 A 说　明　书　附　图 1/1 页 图1 图2 8