logo好方法网

生成位姿估计模型的方法和装置


技术摘要:
本公开实施例公开了一种生成位姿估计模型的方法和装置,其中,该方法包括:获取训练样本集合;对于训练样本集合中的每个训练样本,确定该训练样本是否满足预设条件,如果满足,生成表征该训练样本对应的点云数据可拼接的标注信息,如果不满足,生成表征该训练样本对应  全部
背景技术:
房屋的重建是由多个点位的局部点云模型拼接并融合得到整个房屋的三维点云 模型的过程。这一过程最重要的就是求取相邻拍摄点位之间相对位姿(包括角度旋转 (rotation,R)和位置平移(transform,T)。目前常用的方法仍然是人机交互的方案,即摄影 师手动拖动拍摄到的两个点位的点云模块进行拼接得到初始位姿,然后通过Iterative  Closest  Point(ICP)算法对两块点云位姿进行精调,从而得到最终位姿。这一方案最主要 的问题就是依赖人工进行位姿的初始获取。这一过程比较费时,并且人力成本太高。 对该问题进行技术抽象,就是同一相机在不同位置对同一场景进行图像采集,通 过两次采集到的图像推断两次采集时相机相对位置变化。简单来说就是通过两幅相关图像 估计摄像机相对位姿。
技术实现要素:
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种生成位姿估 计模型的方法、装置,相机位姿估计方法、装置,以及计算机可读存储介质及电子设备。 本公开的实施例提供了一种生成位姿估计模型的方法,该方法包括:获取训练样 本集合,其中,训练样本集合中的每个训练样本包括两个全景图和对应的预设相机位姿参 数;对于训练样本集合中的每个训练样本,确定该训练样本是否满足预设条件,如果满足, 生成表征该训练样本对应的点云数据可拼接的标注信息,如果不满足,生成表征该训练样 本对应的点云数据不可拼接的标注信息;将训练样本集合中的训练样本包括的两个全景图 作为初始模型的输入,将与输入的两个全景图对应的预设相机位姿参数和标注信息作为初 始模型的期望输出,训练初始模型,并将训练后的初始模型确定为位姿估计模型。 在一些实施例中,在获取训练样本集合之前,方法还包括:获取预设的至少两个拍 摄点位中的每个拍摄点位对应的全景图;将全景图进行两两组合,得到至少一对全景图;获 取预设的至少一对全景图中的每对全景图对应的预设相机位姿参数;将至少一对全景图中 的每对全景图和对应的预设相机位姿参数确定为训练样本。 在一些实施例中,确定该训练样本是否满足预设条件包括:获取该训练样本中的 两个全景图分别对应的深度图;基于每个深度图对应的相机参数,确定每个深度图对应的 点云数据;确定该训练样本对应的两组点云数据的重合度,如果重合度大于或等于预设重 合度阈值,以及该训练样本包括的两个全景图分别对应的拍摄点位彼此处于另一全景图对 应的拍摄点位的拍摄范围内,确定满足预设条件。 在一些实施例中,确定该训练样本对应的两组点云数据的重合度,包括:对该训练 样本对应的两组点云数据进行点云配准,得到相机位姿参数的变化值;基于变化值,得到两 4 CN 111612842 A 说 明 书 2/13 页 组点云数据的重合度。 在一些实施例中,训练初始模型,包括:利用确定两组点云数据是否可拼接的第一 损失函数和确定相机位姿参数的第二损失函数,对初始模型进行训练。 根据本公开实施例的另一个方面,提供了一种相机位姿估计方法,该方法包括:获 取两个全景图;将两个全景图输入预先训练的位姿估计模型,得到表征两个全景图是否可 拼接的建议信息和表征两个全景图分别对应的相机之间的位姿关系的相机位姿参数,其 中,位姿估计模型预先根据上述生成位姿估计模型的方法任一实施例训练得到。 在一些实施例中,在得到表征两个全景图是否可拼接的建议信息和表征两个全景 图分别对应的相机之间的位姿关系的相机位姿参数之后,方法还包括:响应于确定建议信 息表征两个全景图可拼接,获取两个全景图分别对应的深度图;基于每个深度图对应的相 机参数,确定每个深度图对应的点云数据;利用相机位姿参数,对所得到两组点云数据进行 点云配准,得到配准后相机位姿参数;基于配准后相机位姿参数,对两组点云数据进行拼 接,得到三维空间点云模型。 根据本公开实施例的另一个方面,提供了一种生成位姿估计模型的装置,该装置 包括:第一获取模块,用于获取训练样本集合,其中,训练样本集合中的每个训练样本包括 两个全景图和对应的预设相机位姿参数;第一确定模块,用于对于训练样本集合中的每个 训练样本,确定该训练样本是否满足预设条件,如果满足,生成表征该训练样本对应的点云 数据可拼接的标注信息,如果不满足,生成表征该训练样本对应的点云数据不可拼接的标 注信息;训练模块,用于将训练样本集合中的训练样本包括的两个全景图作为初始模型的 输入,将与输入的两个全景图对应的预设相机位姿参数和标注信息作为初始模型的期望输 出,训练初始模型,并将训练后的初始模型确定为位姿估计模型。 在一些实施例中,该装置还包括:第二获取模块,用于获取预设的至少两个拍摄点 位中的每个拍摄点位对应的全景图;组合模块,用于将全景图进行两两组合,得到至少一对 全景图;第三获取模块,用于获取预设的至少一对全景图中的每对全景图对应的预设相机 位姿参数;第二确定模块,用于将至少一对全景图中的每对全景图和对应的预设相机位姿 参数确定为训练样本。 在一些实施例中,第一确定模块包括:获取单元,用于获取该训练样本中的两个全 景图分别对应的深度图;第一确定单元,用于基于每个深度图对应的相机参数,确定每个深 度图对应的点云数据;第二确定单元,用于确定该训练样本对应的两组点云数据的重合度, 如果重合度大于或等于预设重合度阈值,以及该训练样本包括的两个全景图分别对应的拍 摄点位彼此处于另一全景图对应的拍摄点位的拍摄范围内,确定满足预设条件。 在一些实施例中,第二确定单元包括:配准子单元,用于对该训练样本对应的两组 点云数据进行点云配准,得到相机位姿参数的变化值;确定子单元,用于基于变化值,得到 两组点云数据的重合度。 在一些实施例中,训练模块进一步用于:利用确定两组点云数据是否可拼接的第 一损失函数和确定相机位姿参数的第二损失函数,对初始模型进行训练。 根据本公开实施例的另一个方面,提供了一种相机位姿估计装置,该装置包括:第 一获取模块,用于获取两个全景图;第一确定模块,用于将两个全景图输入预先训练的位姿 估计模型,得到表征两个全景图是否可拼接的建议信息和表征两个全景图分别对应的相机 5 CN 111612842 A 说 明 书 3/13 页 之间的位姿关系的相机位姿参数,其中,位姿估计模型预先根据上述生成位姿估计模型的 方法训练得到。 在一些实施例中,该装置还包括:第二获取模块,用于响应于确定建议信息表征两 个全景图可拼接,获取两个全景图分别对应的深度图;第二确定模块,用于基于每个深度图 对应的相机参数,确定每个深度图对应的点云数据;配准模块,用于利用相机位姿参数,对 所得到两组点云数据进行点云配准,得到配准后相机位姿参数;拼接模块,用于基于配准后 相机位姿参数,对两组点云数据进行拼接,得到三维空间点云模型。 根据本公开实施例的另一个方面,提供了一种计算机可读存储介质,计算机可读 存储介质存储有计算机程序,计算机程序用于执行上述生成位姿估计模型的方法或相机位 姿估计方法。 根据本公开实施例的另一个方面,提供了一种电子设备,电子设备包括:处理器; 用于存储处理器可执行指令的存储器;处理器,用于从存储器中读取可执行指令,并执行指 令以实现上述生成位姿估计模型的方法或相机位姿估计方法。 基于本公开上述实施例提供的生成位姿估计模型的方法、装置,相机位姿估计方 法、装置,以及计算机可读存储介质及电子设备,通过对训练样本集合进行分组,即分为点 云可拼接的样本和点云不可拼接的样本,再利用分组后的训练样本集合进行训练,得到位 姿估计模型,从而可以使训练得到的位姿估计模型可以准确地估计出两个拍摄点的相机的 相对位姿,并准确地确定两组点云是否可拼接,有助于提高点云拼接的精确性。 下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。 附图说明 通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、 特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明 书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中, 相同的参考标号通常代表相同部件或步骤。 图1是本公开所适用的系统图。 图2是本公开一示例性实施例提供的生成位姿估计模型的方法的流程示意图。 图3是本公开的实施例的生成位姿估计模型的方法的生成标注信息的一个示意 图。 图4是本公开一示例性实施例提供的相机位姿估计方法的流程示意图。 图5是本公开一示例性实施例提供的生成位姿估计模型的装置的结构示意图。 图6是本公开另一示例性实施例提供的生成位姿估计模型的装置的结构示意图。 图7是本公开一示例性实施例提供的相机位姿估计装置的结构示意图。 图8是本公开另一示例性实施例提供的相机位姿估计装置的结构示意图。 图9是本公开一示例性实施例提供的电子设备的结构图。
下载此资料需消耗2积分,
分享到:
收藏