技术摘要：
本发明公开了一种激光雷达点云反射强度补全方法及系统，所述方法包括：利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云；使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；对原始点云进行预处理，得到原始点云反射强度  全部
背景技术：
智能驾驶车辆需要通过激光雷达对周围环境进行感知测量，以保证安全行使，包 括车道线检测、物体检测与跟踪等。然而，激光雷达的扫描线数限制了记录点云的密度，稀 疏点云难以用于高精度计算，因此需要将稀疏点云补全为稠密点云。点云补全的主要难点 包括：1)原始点云过于稀疏；2)室外场景缺乏用于神经网络监督学习的标注。 现有的方法主要针对点云深度信息的补全，但点云反射强度补全具体有深度估计 所不具有的一些难点：1)反射强度与物体材质有关，与几何信息关系不大，同一物体不同部 位的反射强度有可能不同；2)图形分割标签精度不够，难以直接作为监督标签。
技术实现要素：
针对上述技术问题，本发明提供了一种激光雷达点云反射强度补全方法，技术方 案如下： 一种激光雷达点云反射强度补全方法，所述方法包括： 利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云； 使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图 像； 对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强 度投影图像； 将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云 反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投 影图像。 作为上述方法的一种改进，所述使用预设的边缘提取策略提取灰度图像的边缘信 息，得到该灰度图像的边缘图像；具体为：使用canny算子提取灰度图像的边缘信息，将所得 的边缘点集在与灰度图像相同尺寸的图像上进行二值化，即边缘点集中的点取值为1，其余 点取值为0，得到该灰度图像的边缘图像。 作为上述方法的一种改进，所述对原始点云进行预处理，得到原始点云反射强度 投影图像和插值补全点云反射强度投影图像；具体包括： 将原始点云PC0从激光雷达的三维坐标系投影到灰度图像所在的二维像素平面， 得到原始点云反射强度投影图像； 提取原始点云反射强度投影图像的区域索引，该区域索引为图像像素的坐标索引 列表，或者与点云投影图同尺寸的二值矩阵，其中待补全区域的取值为1，其余区域的取值 为0； 6 CN 111553859 A 说　明　书 2/10 页 对原始点云反射强度投影图像的待补全区域进行插值，得到插值补全点云反射强 度投影图像。 作为上述方法的一种改进，所述将原始点云PC0从激光雷达的三维坐标系投影到 灰度图像所在的二维像素平面，得到原始点云反射强度投影图像；具体为： 根据标定参数获取激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二 维成像坐标系和世界三维坐标系的转换矩阵K2； 对于世界坐标系下的点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷 达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝ K1·X0，因此 截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为 对应的反射强度值，再对空缺的部分以0值填补；从而将激光雷达点云转换为灰度图像对应 的二维点云图像，即原始点云反射强度投影图像。 作为上述方法的一种改进，所述对原始点云反射强度投影图像的待补全区域进行 插值，得到插值补全点云反射强度投影图像；具体包括： 对于插值补全点云反射强度投影图像上第i个像素点，若其在点云反射强度投影 图像中的值非0，则在点云反射强度投影图像中找到距离第i个像素点最近的三个非零值点 (x1,y1) ,(x2,y2) ,(x3,y3)，则第i个像素点的补全值r(i)为： 作为上述方法的一种改进，所述点云反射强度补全模型为第一SegNet语义分割神 经网络，其输入包括：灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值 补全点云反射强度投影图像，输出为补全点云反射强度投影图像；将所输入的灰度图像、灰 度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像叠加为 4层矩阵，其每一层的尺寸相同；然后对每一层进行预设的变换裁剪，所得的矩阵为I′为网 络的输入；网络的目标输出为与I′同尺寸的单层矩阵，其上每一点的取值范围为0到1。 作为上述方法的一种改进，所述方法还包括：对所述点云反射强度补全模型进行 训练的步骤，具体包括： 获取多组用于模型训练的同一路面的灰度图像和原始点云，仅使用输入中的灰度 图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层矩 阵，其上每点为整数值，代表该点所属的类别序号； 所述第一SegNet语义分割神经网络在训练过程中的误差losscom满足： losscom＝lossE1*lossE2*lossTV 其中， 7 CN 111553859 A 说　明　书 3/10 页 其中，lossE1,lossE2,lossTV均表示误差函数，C表示点云补全区域的像素点索引集 合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的 边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；，1EN(i)为当点i属于 集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中 所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；Σi∈c∩c(i)表示 遍历待补全点云中属于类别c的点并取其反射强度值，Σi∈C(i)表示遍历待补全的点并取其 反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投 影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值； 表示PCN (i)对x方向求偏导， 表示PCN(i)对y方向求偏导， 表示GF(i)对x方向求 偏导， 表示GF(i)对y方向求偏导； 当训练到一定轮次后，误差losscom绝对值小于预设阈值或振幅的绝对值小于预设 阈值，停止训练。 作为上述方法的一种改进，所述方法还包括：对所述点云反射强度补全模型进行 训练的步骤，具体包括： 建立对补全点云反射强度投影图像进行分割的点云图像分割模型，所述点云图像 分割模型为第二SegNet语义分割神经网络，其输入为补全点云反射强度投影图像，输出为 图像分割结果；对补全点云反射强度投影图像进行预设的变换裁剪，所得的矩阵为I″；把矩 阵I″作为第二SegNet语义分割神经网络络的输入，目标输出为与I″同尺寸的矩阵，代表多 个预测类别；每层通道上每一点的取值范围为0到1，同一点在所有层上的取值之和为1； 将第一SegNet语义分割神经网络和第二SegNet语义分割神经网络串联为一个神 经网络；进行联合训练。 作为上述方法的一种改进，所述将第一SegNet语义分割神经网络和第二SegNet语 义分割神经网络串联为一个神经网络；进行联合训练；具体包括： 获取多组用于模型训练的同一路面的灰度图像和激光雷达原始点云，仅使用和灰 度图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层 矩阵，其上每点为整数值，代表该点所属的类别序号； 第一SegNet语义分割神经网络在训练过程中的误差losscom满足： losscom＝lossE1*lossE2*lossTV 其中， 8 CN 111553859 A 说　明　书 4/10 页 其中，lossE1,lossE2,lossTV均表示误差函数，C表示点云补全区域的像素点索引集 合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的 边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；，1EN(i)为当点i属于 集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中 所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；Σi∈c∩C(i)表示 遍历待补全点云中属于类别c的点并取其反射强度值，Σi∈C(i)表示遍历待补全的点并取其 反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投 影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值； 表示PCN (i)对x方向求偏导， 表示PCN(i)对y方向求偏导， 表示GF(i)对x方向求 偏导， 表示GF(i)对y方向求偏导； 所述第二SegNet语义分割神经网络在训练过程中的误差lossseg满足： 其中，pc(i)表示图像分割标签中点i归属于类别c的概率，qc(i)表示分割网络的输 出中点i归属于类别c的概率； 串联后的神经网络采用的误差loss为： loss＝losscom lossseg 当训练到一定轮次后，误差loss绝对值小于预设阈值或振幅的绝对值小于预设阈 值，停止训练。 本发明该提供了一种激光雷达点云反射强度补全系统，所述系统包括标定的车载 摄像头和激光雷达、数据采集模块、灰度图像边缘提取模块、点云预处理模块、训练好的的 点云反射强度补全模型和点云反射强度补全模块， 所述数据采集模块，用于通过标定的车载摄像头和激光雷达获取同一路面的灰度 图像和激光雷达原始点云； 所述灰度图像边缘提取模块，用于使用预设的边缘提取策略提取灰度图像的边缘 信息，得到该灰度图像的边缘图像； 所述点云预处理模块，用于对原始点云进行预处理，得到原始点云反射强度投影 图像和插值补全点云反射强度投影图像； 所述点云反射强度补全模块，用于将灰度图像、灰度图像的边缘图像、原始点云反 射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全 模型，输出补全点云反射强度投影图像。 与现有技术相比，本发明的优势在于： 1、本发明的方法先对点云预处理后得到补全区域，然后利用神经网络融合灰度图 像和点云两种数据，并利用图像分割网络修正补全结果，可以充分利用激光雷达点云和相 机图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反射强度图像，改善了单 纯基于点云进行补全的方法的效果； 9 CN 111553859 A 说　明　书 5/10 页 2、本发明的方法不仅克服了在纯点云补全中，部分区域的点云过于稀疏，难以补 全的问题，而且提供了对应的图像作为参考，增加了信息含量，有效地改善了点云补全的效 果； 3、本发明的方法中使用了基于图像标注的图像分割标签作为点云补全的监督标 签，可以提升补全点云上对应区域的清晰度；由此可见，本发明提供的点云反射强度补全方 法可以充分利用点云和图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反 射强度图像。 附图说明 图1为本发明的实施例1提供的激光雷达点云反射强度补全方法的流程图； 图2为本发明的实施例1提供的点云预处理流程图； 图3为本发明的实施例1提供的使用点云图像分割对点云反射强度补全模型进行 训练的流程图； 图4为本发明的实施例2提供的激光雷达点云反射强度补全系统的示意图。