技术摘要：
本发明公开了一种改进小波序贯极限学习机的TOF相机深度数据空间配准算法研究，解决了TOF相机深度数据测量过程中非线性误差导致的深度偏移和由于TOF相机测量原理导致的系统性的深度数据高估的问题，从而更好地复原真实场景中的深度数据；并与传统极限学习机建立的空间配 全部
背景技术：
随着工业智能水平的不断提高，快速且高精度的立体图像检测系统在各行各业都 发挥了重要作用，广泛应用于物流包裹分拣、工业零件尺寸测量、机器人定位与导航、位姿 估计、三维重建等方面；为了获取目标的三维信息，使用多个2D相机构成双目或多目立体视 觉系统的传统方法，已经难以满足实际应用环境中的工业和生产要求。 应需求TOF深度相机由于集成度高，可以一次性获得场景的全貌信息，具有帧率 高、结构紧凑、对光照不敏感的优点，很快在三维视觉系统中被大量采用；TOF相机通过计算 激光在相机与物体之间的飞行时间来获取两者之间的距离信息，并同时获取灰度信息，是 一种高效的3D成像仪器；虽然TOF相机已经表现出非常好的应用前景；但是作为较新的三维 传感设备，仍然有很多不足，由于受自身成像特点影响和外界环境因素的干扰，TOF深度相 机获得的数据存在着原始灰度图像对比度差，畸变，漂移，抖动，深度测量误差，存在随机噪 声等；且以往的工作一般也只是利用深度信息，因为该款相机原始灰度图像对比度较差，难 以直接应用；因此，要想将TOF相机很好地应用于三维视觉系统中以完成精确快速的测量任 务，必须进行TOF相机数据的误差校正。
技术实现要素：
本发明所要解决的问题：解决TOF相机深度数据测量过程中非线性误差导致的深 度偏移和由于TOF相机测量原理导致的系统性的深度数据高估的问题，提出了一种改进小 波序贯极限学习机的TOF相机深度数据测量校正(CFWNN-OSELM)空间配准算法。 本发明所采用技术方案是：使用TOF深度相机(tof640-20gm_850nm)垂 直照射墙面，根 据相机实际性能，在相机平面与墙面垂直距离的合适范围内，始 终保持相机平面与墙面平 行，每隔一定的距离移动相机并采集墙面所在空间位置 的相应深度数据信息，以相机采集 墙面的深度点云数据信息和相应的实际测得的 相机平面与墙面垂直距离为依据；经三次 样条插值处理相机采集墙面的深度点云 数据，并得到相应的三次样条插值函数，根据实际 需求确定采样距离并对连续空 间内所有照片的像素深度数据和相应的实际垂直距离信息 在垂直距离空间内进 行采样处理，得到近似连续空间又满足实际要求的离散空间照片的 点云数据和相 应的实际垂直距离信息；应用改进的小波序贯极限学习机建立TOF深度相机 深 度数据测量误差校正的改进小波序贯(CFWNN-OSELM)空间配准模型；对于建立 成功的 TOF相机深度数据测量误差校正的改进小波序贯(CFWNN-OSELM)空间 配准模型，将对连续 5 CN 111724419 A 说 明 书 2/7 页 空间内的所有像素的深度数据都有相应的校正作用；具体包 括以下步骤： 步骤1：原始点云数据的采集，使用TOF深度相机垂直照射墙面，根据 相机实际性能，在 相机平面与墙面垂直距离的合适范围内，始终保持相机平面与 墙面平行，每隔一定的距离 移动相机并采集墙面所在空间位置的相应深度数据信 息；注意，开机40min预热后，为了减 小噪声、扰动的影响，在距离范围内每 隔10cm测10次数据，平均后作为该测量位置的数据； 通过过滤Flag非0的像 素后，将得到的数据点取平均作为该位置与墙的距离的测量值，而 该位置到墙的 实际距离已知； 步骤2：以相机采集墙面的深度点云数据信息和相应的实际测得的相机平 面与墙面垂 直距离为依据；首先，对相机采集墙面的深度点云数据信息和相应的 实际测得的相机平面 与墙面的垂直距离在垂直距离空间内进行三次样条插值处 理，就可以得到相机采集的每 个像素点云数据和相应的实际测得的相机平面与墙 面的垂直距离相对相机平面与墙面的 空间垂直距离的三次样条插值函数(即相机 平面与墙面指定距离范围内对于连续空间的 所有照片对应的像素深度数据和相 应的实际垂直距离信息)；插值过程中相邻两幅图像的 对应像素的两个数据点之 间使用多次多项式(最高次项≤3)函数连接建立一个三次样条， 样条函数如公式 (1)； 步骤3：根据实际需求确定采样距离并对连续空间内所有照片的像素深度 数据和相应 的实际垂直距离信息在垂直距离空间内进行采样处理，得到近似连续 空间又满足实际要 求的离散空间照片的点云数据和相应的实际垂直距离信息； 步骤4：根据得到的符合要求的离散空间照片的点云数据和相应的实际垂 直距离信 息，应用改进小波序贯极限学习机建立TOF相机深度数据测量误差校 正的(CFWNN-OSELM) 空间配准模型； 网络初始化；根据系统的输入输出序列确定网络输入层节点数N，隐含层 节点数L，输 出层节点数M； 确定隐藏层激活函数；本发明将小波函数与Sigmoid函数构成的复合函数 作为隐藏层 的激活函数；根据输入数据的范围对参数进行初始化； 小波函数的初始化；随机选择输入层与隐藏层的权重矩阵V，设 [xi,min,xi,max]表示第i 个输入数据的范围 (不考虑x 0 ) ，则隐藏层节点复合函数输入 值范围表示为 其中h＝1,2,…,L； t*、ψ*分别表示小波函数的时窗中心和时窗半径，则第h个隐层神经元 的小波函数 的时窗为[b a (t*h h -ψ*) ,bh ah(t* ψ*)]； 为了保证小波函数能覆盖输入数据范围，得到如下等式： 6 CN 111724419 A 说 明 书 3/7 页 由式(2)、(3)得出伸缩因子初始化公式： 由式(2)、(3)得出平移因子初始化公式： 得出小波函数的时窗中心公式： 得出小波函数的时窗半径公式： 离线初始化训练学习； 从给定训练集N＝{(xi ,ti)|x ∈Rn ,t ∈Rmi i ,i＝1 ,…}中选取少量的初始训练 集 进行初始化学习； 随机分配输入层与隐层的权值Vi，按照式(3)、(4)初始化伸缩因子ai和平 移因子bi，i ＝1,…,L； 计算初始隐层输出矩阵H0： 估计初始输出权值 其中 序惯在线学习； 表示第(k 1)个输入数据集，其中Nk 1表示数据 集的数量； 计算隐层节点输出矩阵Hk 1； 令 7 CN 111724419 A 说 明 书 4/7 页 计算输出权值β(k 1)； 三维点云数据的训练数据集和测试数据集的分配； 将训练集输入到(CFWNN-OSELM)空间配准模型进行训练； 将测试集输入到完成训练的(CFWNN-OSELM)模型，对完成训练的 (CFWNN-OSELM)模型 进行评价； 本发明的有益效果为：本发明在极限学习机的基础上采用小波函数和 Sigmoid函数构 成的复合函数作为隐藏层的激活函数，改善了传统极限学习机算 法精度低问题，同时提高 了运行速度，并具有在线学习的功能；该算法只对新来 的数据集进行学习，并且数据集长 度可变，从而提高了算法的运行速度，在对网 络参数初始化时，除了对小波参数进行初始 化外，只需确定隐层神经元个数，降 低了网络参数之间的依赖性；采用改进小波序贯极限 学习机(CFWNN-OSELM) 算法所建立的TOF相机深度数据测量空间配准校正模型，解决了TOF 相机深度 数据测量过程中非线性误差导致的深度偏移和由于TOF相机测量原理导致的系 统性的深度数据高估的问题，对连续空间内的所有原始像素的深度数据都有相应 的校正 作用；具有更高的精度和更强的泛化能力；为提高TOF深度相机测量精 度提供了一种新的 方法和思路。 附图说明 图1基于改进小波序贯极限学习机的TOF相机数据测量误差校正空间配 准模型建立方 法总体流程框图； 图2TOF相机平面与墙面保持平行的测量示意图； 图3理论三次样条插值点云效果图； 图4改进极限学习机的结构示意图； 图5原始深度数据高估散点模型图； 图6ELM校正后的散点模型图； 图7CFWNN-OSELM校正后的散点图； 图8理论深度值、ELM和CFWNN-OSELM算法配准后深度数据对比图； 图9原始深度值、ELM和CFWNN-OSELM算法配准前后深度数据误差 图。
本发明公开了一种改进小波序贯极限学习机的TOF相机深度数据空间配准算法研究，解决了TOF相机深度数据测量过程中非线性误差导致的深度偏移和由于TOF相机测量原理导致的系统性的深度数据高估的问题，从而更好地复原真实场景中的深度数据；并与传统极限学习机建立的空间配 全部
背景技术：
随着工业智能水平的不断提高，快速且高精度的立体图像检测系统在各行各业都 发挥了重要作用，广泛应用于物流包裹分拣、工业零件尺寸测量、机器人定位与导航、位姿 估计、三维重建等方面；为了获取目标的三维信息，使用多个2D相机构成双目或多目立体视 觉系统的传统方法，已经难以满足实际应用环境中的工业和生产要求。 应需求TOF深度相机由于集成度高，可以一次性获得场景的全貌信息，具有帧率 高、结构紧凑、对光照不敏感的优点，很快在三维视觉系统中被大量采用；TOF相机通过计算 激光在相机与物体之间的飞行时间来获取两者之间的距离信息，并同时获取灰度信息，是 一种高效的3D成像仪器；虽然TOF相机已经表现出非常好的应用前景；但是作为较新的三维 传感设备，仍然有很多不足，由于受自身成像特点影响和外界环境因素的干扰，TOF深度相 机获得的数据存在着原始灰度图像对比度差，畸变，漂移，抖动，深度测量误差，存在随机噪 声等；且以往的工作一般也只是利用深度信息，因为该款相机原始灰度图像对比度较差，难 以直接应用；因此，要想将TOF相机很好地应用于三维视觉系统中以完成精确快速的测量任 务，必须进行TOF相机数据的误差校正。
技术实现要素：
本发明所要解决的问题：解决TOF相机深度数据测量过程中非线性误差导致的深 度偏移和由于TOF相机测量原理导致的系统性的深度数据高估的问题，提出了一种改进小 波序贯极限学习机的TOF相机深度数据测量校正(CFWNN-OSELM)空间配准算法。 本发明所采用技术方案是：使用TOF深度相机(tof640-20gm_850nm)垂 直照射墙面，根 据相机实际性能，在相机平面与墙面垂直距离的合适范围内，始 终保持相机平面与墙面平 行，每隔一定的距离移动相机并采集墙面所在空间位置 的相应深度数据信息，以相机采集 墙面的深度点云数据信息和相应的实际测得的 相机平面与墙面垂直距离为依据；经三次 样条插值处理相机采集墙面的深度点云 数据，并得到相应的三次样条插值函数，根据实际 需求确定采样距离并对连续空 间内所有照片的像素深度数据和相应的实际垂直距离信息 在垂直距离空间内进 行采样处理，得到近似连续空间又满足实际要求的离散空间照片的 点云数据和相 应的实际垂直距离信息；应用改进的小波序贯极限学习机建立TOF深度相机 深 度数据测量误差校正的改进小波序贯(CFWNN-OSELM)空间配准模型；对于建立 成功的 TOF相机深度数据测量误差校正的改进小波序贯(CFWNN-OSELM)空间 配准模型，将对连续 5 CN 111724419 A 说 明 书 2/7 页 空间内的所有像素的深度数据都有相应的校正作用；具体包 括以下步骤： 步骤1：原始点云数据的采集，使用TOF深度相机垂直照射墙面，根据 相机实际性能，在 相机平面与墙面垂直距离的合适范围内，始终保持相机平面与 墙面平行，每隔一定的距离 移动相机并采集墙面所在空间位置的相应深度数据信 息；注意，开机40min预热后，为了减 小噪声、扰动的影响，在距离范围内每 隔10cm测10次数据，平均后作为该测量位置的数据； 通过过滤Flag非0的像 素后，将得到的数据点取平均作为该位置与墙的距离的测量值，而 该位置到墙的 实际距离已知； 步骤2：以相机采集墙面的深度点云数据信息和相应的实际测得的相机平 面与墙面垂 直距离为依据；首先，对相机采集墙面的深度点云数据信息和相应的 实际测得的相机平面 与墙面的垂直距离在垂直距离空间内进行三次样条插值处 理，就可以得到相机采集的每 个像素点云数据和相应的实际测得的相机平面与墙 面的垂直距离相对相机平面与墙面的 空间垂直距离的三次样条插值函数(即相机 平面与墙面指定距离范围内对于连续空间的 所有照片对应的像素深度数据和相 应的实际垂直距离信息)；插值过程中相邻两幅图像的 对应像素的两个数据点之 间使用多次多项式(最高次项≤3)函数连接建立一个三次样条， 样条函数如公式 (1)； 步骤3：根据实际需求确定采样距离并对连续空间内所有照片的像素深度 数据和相应 的实际垂直距离信息在垂直距离空间内进行采样处理，得到近似连续 空间又满足实际要 求的离散空间照片的点云数据和相应的实际垂直距离信息； 步骤4：根据得到的符合要求的离散空间照片的点云数据和相应的实际垂 直距离信 息，应用改进小波序贯极限学习机建立TOF相机深度数据测量误差校 正的(CFWNN-OSELM) 空间配准模型； 网络初始化；根据系统的输入输出序列确定网络输入层节点数N，隐含层 节点数L，输 出层节点数M； 确定隐藏层激活函数；本发明将小波函数与Sigmoid函数构成的复合函数 作为隐藏层 的激活函数；根据输入数据的范围对参数进行初始化； 小波函数的初始化；随机选择输入层与隐藏层的权重矩阵V，设 [xi,min,xi,max]表示第i 个输入数据的范围 (不考虑x 0 ) ，则隐藏层节点复合函数输入 值范围表示为 其中h＝1,2,…,L； t*、ψ*分别表示小波函数的时窗中心和时窗半径，则第h个隐层神经元 的小波函数 的时窗为[b a (t*h h -ψ*) ,bh ah(t* ψ*)]； 为了保证小波函数能覆盖输入数据范围，得到如下等式： 6 CN 111724419 A 说 明 书 3/7 页 由式(2)、(3)得出伸缩因子初始化公式： 由式(2)、(3)得出平移因子初始化公式： 得出小波函数的时窗中心公式： 得出小波函数的时窗半径公式： 离线初始化训练学习； 从给定训练集N＝{(xi ,ti)|x ∈Rn ,t ∈Rmi i ,i＝1 ,…}中选取少量的初始训练 集 进行初始化学习； 随机分配输入层与隐层的权值Vi，按照式(3)、(4)初始化伸缩因子ai和平 移因子bi，i ＝1,…,L； 计算初始隐层输出矩阵H0： 估计初始输出权值 其中 序惯在线学习； 表示第(k 1)个输入数据集，其中Nk 1表示数据 集的数量； 计算隐层节点输出矩阵Hk 1； 令 7 CN 111724419 A 说 明 书 4/7 页 计算输出权值β(k 1)； 三维点云数据的训练数据集和测试数据集的分配； 将训练集输入到(CFWNN-OSELM)空间配准模型进行训练； 将测试集输入到完成训练的(CFWNN-OSELM)模型，对完成训练的 (CFWNN-OSELM)模型 进行评价； 本发明的有益效果为：本发明在极限学习机的基础上采用小波函数和 Sigmoid函数构 成的复合函数作为隐藏层的激活函数，改善了传统极限学习机算 法精度低问题，同时提高 了运行速度，并具有在线学习的功能；该算法只对新来 的数据集进行学习，并且数据集长 度可变，从而提高了算法的运行速度，在对网 络参数初始化时，除了对小波参数进行初始 化外，只需确定隐层神经元个数，降 低了网络参数之间的依赖性；采用改进小波序贯极限 学习机(CFWNN-OSELM) 算法所建立的TOF相机深度数据测量空间配准校正模型，解决了TOF 相机深度 数据测量过程中非线性误差导致的深度偏移和由于TOF相机测量原理导致的系 统性的深度数据高估的问题，对连续空间内的所有原始像素的深度数据都有相应 的校正 作用；具有更高的精度和更强的泛化能力；为提高TOF深度相机测量精 度提供了一种新的 方法和思路。 附图说明 图1基于改进小波序贯极限学习机的TOF相机数据测量误差校正空间配 准模型建立方 法总体流程框图； 图2TOF相机平面与墙面保持平行的测量示意图； 图3理论三次样条插值点云效果图； 图4改进极限学习机的结构示意图； 图5原始深度数据高估散点模型图； 图6ELM校正后的散点模型图； 图7CFWNN-OSELM校正后的散点图； 图8理论深度值、ELM和CFWNN-OSELM算法配准后深度数据对比图； 图9原始深度值、ELM和CFWNN-OSELM算法配准前后深度数据误差 图。
