
技术摘要:
本申请公开了一种基于双目显微视觉的测量方法、装置、系统及介质,该方法包括获取双目显微视觉系统中经相机标定后的左右相机对应的初始左右图像;基于对极几何约束关系,进行图像校正得到左右图像;对左右图像进行下采样,对所得的左采样图像集中最小分辨率对应层的采 全部
背景技术:
显微立体测量技术是对观测物体进行三维测量与表面重建,探索微观世界的重要 手段。显微立体测量的典型方法包括散焦深度测量、显微双目成像、激光扫描测量、阴影形 状获取等。其中,显微双目成像由于其成像简单快捷、鲁棒性好、精度高等优势,被精密加 工、失效分析等领域工作者广泛青睐。 显微双目成像测量目前主要依赖体视显微镜(又称为解剖显微镜、实体显微镜或 立体显微镜)作为基础成像设备。体视显微镜双目镜筒的左右光路具有一定的夹角,利用两 相机分别采集左右光路的图像,可以从中恢复立体信息。随着仪器设备的研制,目前也有新 型特殊结构的显微镜出现,比如基线折叠的垂直式显微成像装置。无论是哪种结构,这些显 微双目成像设备在本质上都是双目成像设备,其系统在使用前都需要经过系统标定、图像 校正等步骤,三维测量都需要通过立体匹配与尺寸计算等方法。但显微双目成像在微观尺 度上的操作与图像样本特殊性,决定了其标定、匹配与深度计算面临着更多困难。 现有的光学双目显微立体成像装置测量方案其解决思想多来源于宏观尺度双目 测量方案的移植,然而三维立体显微镜的观测场景小、景深浅,目前普遍使用的针对宏观尺 度的立体标定和测量方案并不适用于显微场景,尤其在标定、校正与立体匹配方法存在实 用性差、准确性低的问题,具体如下: 在宏观尺寸的目标测量中,常用标定方法有张氏标定法、Tsai两步标定法、DLT方 法等。其中,张氏标定法是目前被使用最广泛的算法,但其标定过程需要将标定板在镜头前 至少进行三个不同角度的旋转,而双目显微镜景深小,这一操作难以实现。Tsai两步标定法 也存在类似的问题。DLT虽对标定板的摆设没有特殊要求,但建模简单且优化参数复杂,标 定精度较难保障。 现有的立体校正方法需要拍摄棋盘标定板在不同倾斜角度下的图像,然而由于显 微镜景深很浅,很难获得足够的图像,限制了其在显微场景下的应用。 利用标定参数对双目显微图像进行校正即可用于后续立体匹配步骤。立体匹配是 双目传感器提取三维深度信息的关键步骤,目前已有诸如ELAS(efficient large-scale stereo matching)、半全局匹配(semi-global matching)、深度学习等多种方法被应用于 宏观图像匹配。而目前针对微观立体匹配的方法较少,多数研究者将上述宏观匹配方法直 接应用于微观匹配中。但微观世界观察样本的颜色单一、纹理单调等特性导致直接迁移方 法后的结果不理想,更具有针对性的微观立体匹配方法值得被提出。例如,现有的基于深度 学习的立体匹配方法泛化能力较弱,显微场景与传统立体匹配的场景有较大差异,因此在 显微场景表现较差。 有鉴于此,本申请提供一种适用于不同结构的双目显微成像装置的微观三维尺度 5 CN 111612731 A 说 明 书 2/15 页 测量方法,以解决现有技术存在的上述至少一种技术问题。
技术实现要素:
本申请提供了一种基于双目显微视觉的测量方法、装置、系统及介质,以解决以上 至少一种技术问题。 一方面,本申请提供了一种一种基于双目显微视觉的测量方法,包括: 获取双目显微视觉系统中左右相机分别对应的初始左右图像;所述左右相机是经 过相机标定后的相机; 基于左右相机的对极几何约束关系,对所述初始左右图像进行图像校正,得到左 右图像; 分别对所述左右图像按照预设尺寸进行下采样,得到左采样图像集和右采样图像 集;所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图 像; 对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配 以及匹配点传播,并对所述左采样图像集进行逐层采样和立体匹配更新,得到稀疏视差结 果; 对所述稀疏视差结果进行插值处理,得到稠密视差结果; 基于所述左右相机的相机参数和所述稠密视差结果,对视场下的待测对象进行测 量。 另一方面,提供一种基于双目显微视觉的测量装置,包括: 图像获取模块,用于获取双目显微视觉系统中左右相机分别对应的初始左右图 像;所述左右相机是经过相机标定后的相机; 校正模块,用于基于左右相机的对极几何约束关系,对所述初始左右图像进行图 像校正,得到左右图像; 下采样模块,用于分别对所述左右图像按照预设尺寸进行下采样,得到左采样图 像集和右采样图像集;所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预 设数量层的采样图像; 稀疏匹配模块,用于对所述左采样图像集中最小分辨率对应层的采样图像中的像 素点进行立体匹配以及匹配点传播,并对所述左采样图像集进行逐层采样和立体匹配更 新,得到稀疏视差结果; 稠密视差确定模块,用于对所述稀疏视差结果进行插值处理,得到稠密视差结果; 测量模块,用于基于所述左右相机的相机参数和所述稠密视差结果,对视场下的 待测对象进行测量。 另一方面,提供一种双目显微视觉系统,包括相互连接的双目显微视觉装置和计 算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或者 至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现 上述基于双目显微视觉的测量方法。 另一方面,提供了一种计算机设备,包括处理器和存储器,所述存储器中存储有至 少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加 6 CN 111612731 A 说 明 书 3/15 页 载并执行以实现上述基于双目显微视觉的测量方法。 另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有 至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载 并执行以实现如上述基于双目显微视觉的测量方法。 本申请提供的一种基于双目显微视觉的测量方法、装置、系统及介质,具有如下技 术效果: 本申请实施例通过获取双目显微视觉系统中经标定的左右相机分别对应的初始 左右图像;基于对极几何约束关系对初始左右图像进行图像校正,得到左右图像;对该左右 图像进行下采样,并对下采样所得的左采样图像集中最小分辨率对应层的采样图像中的像 素点进行立体匹配以及匹配点传播,并进行逐层采样和立体匹配更新以及插值处理,得到 稠密视差结果;之后根据相机参数和稠密视差结果对待测对象进行测量,可以解决现有技 术中宏观尺度下的测量方法对微观尺度的不适用性和准确性低的问题,本申请所提供的测 量方法非常适用于显微场景下的双目测量,能够针对显微场景下获得良好的准确性和测量 精度。 另外,本申请通过对相机标定和校正方法均进行了改进,可以在较少的棋盘格图 像进行标定即可获得良好的校正结果。同时,本申请提出了基于鲁棒SIFT描述子的椭圆曲 面视差插值方法,视差匹配精度高,可以很好的对抗图像光照等不稳定因素并兼顾运算速 度,而基于椭圆曲面所构建的视差插值模型既满足投影关系,又不需要对图像分割有严格 的要求,满足实际应用需求。 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施 例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅 仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其它附图。 图1是本申请实施例涉及的一种校正后相机位置示意图; 图2是本申请实施例提供的一种基于双目显微视觉的测量方法的流程示意图; 图3是本申请实施例提供的一种基于双目显微视觉的测量装置的结构框图; 图4是本申请实施例提供的另一种基于双目显微视觉的测量装置的结构框图; 图5是本申请实施例提供的运行一种基于双目显微视觉的测量方法的服务器的硬 件结构框图。