技术摘要:
本发明涉及一种高速光学三维光切片显微系统及方法,针对目前结构光照明显微系统环境适应性差、图像质量低、有效光能利用率低的技术问题,本发明只需要采集一副初相位任意的带条纹原始图像和一幅不带条纹的普通宽场图像运算就能计算出某一纵向位置z处的宽场光切片图,完 全部
背景技术:
光学显微成像技术根据探测模式可以分为两大类:即点扫描成像技术和宽场成像 技术。 以激光共聚焦荧光显微为代表的点扫描成像技术,用高度聚焦的激光束对样品逐 点扫描成像,荧光信号经过探测针孔滤波后被光电倍增管探测收集,由于只有激光焦点处 激发的荧光可以通过探测针孔,所以激光共聚焦显微具有极低的背景噪声,而且通过逐层 扫描样品,可以实现三维成像。多光子荧光显微与共聚焦显微很类似,不同的是它使用超短 脉冲激光作为激发光源,由于多光子吸收是非线性效应,只发生在焦点处,所以探测器前不 需要针孔滤光,并且由于激发光使用长波段的近红外光,具有探测样品更深层结构的能力。 但是点扫描成像需要使用聚焦的激光束逐点逐行扫描整个样品,因此速度较慢而且容易造 成样品的光损伤。 宽场成像技术采用面阵图像传感器(如CCD),可以在一个时间点获得一幅完整的 二维图像,与点扫描技术相比具有速度快、图像灰度级高、样品损伤小等优点,适用于那些 要求高速实时观察的活体光学显微成像。但是由于受样品离焦部分的干扰,普通的宽场成 像技术不具有三维光切片成像能力。结构光照明显微是一种宽场光学显微技术,使用面阵 CCD并行采集图像,与普通宽场显微不同的是它还具有三维光切片成像的能力。 结构光照明三维光切片成像显微的基本原理如下: 显微物镜有一定的景深,因此宽场成像中的CCD相机得到的图像实际上是像面信 息和非像面信息的叠加。其中像面信息称为目标,非像面的信息成为了背景。正是由于非像 面信息(背景)的干扰和影响,使得在研究像面信息(目标)时,成像的信噪比和空间分辨率 受到了很大的限制。结构光照明技术使用高空间频率的正弦条纹结构光场对样品进行照 明,能把宽场成像中的像面信息和非像面信息有效地分离,从而得到光切片图。通过使用位 移平台在与光切片垂直的方向作线性扫描,可以得到样品的三维光切片图。 结构光照明光切片技术使用三步相移光场,使成像中的像面信息与非像面信息有 效地分离。具体做法是:把正弦条纹结构光场的初相位依次设定为0°、120°、240°,分别照明 样品,并使用CCD相机采集图像,依次对应记录为I0,I120,I240;通过下列公式算法(均方根算 法,简称RMS算法),计算出某一纵向位置z处的宽场光切片图Iz(x,y): RMS算法需要采集三幅固定相移差的带正弦条纹原始图像并通过RMS算法计算重 构出一幅消除离焦背景的光切片图像,因此需要采集3倍于普通宽场成像的图像数据,计算 耗时较大,此外RMS算法要求三幅带正弦条纹原始图像的相移差恒定,实验中由于环境震动 等因素带来的微小相移差都会给计算得到的光切片图Iz(x,y)带来严重的残余噪声,因此 4 CN 111580260 A 说 明 书 2/6 页 环境适应性较差。2015年,我们提出了一种基于希尔伯特变换的快速SIM三维成像方法,只 需采集两幅任意相移差的带正弦条纹原始图像便可以重构出一幅光切片图像,成像速度比 RMS算法提高30%,图像采集速度由于两幅原始图像相移差任意,所以具有更好的环境适应 性。但是该技术局限于单色三维成像,无法恢复样品的彩色信息。2020年初,我们在此基础 上,提出专利申请号为:202010061033.2,发明名称为基于希尔伯特变换的结构光照明快速 三维彩色显微成像方法,在该专利申请所公布的方法中需要采集相移差为π的两幅带正弦 条纹原始图像运算,该方法要求相移差为π,虽然由于环境震动等因素带来的微小相移差也 会影响光切片图Iz(x,y)的图像质量,环境适应性相比于2015年所提出的快速SIM三维成像 方法略差,但优点是可以得到样品的三维彩色信息。 以上的几种结构光照明三维成像方法都需要采集多幅带有相移量的带正弦条纹 原始图像进行运算,从而得到样品某一纵向位置z处的宽场光切片图。正弦条纹的相移控制 通常使用液晶空间光调制器(LC-SLM)或者数字微镜器件(Digital Micromirror Device, DMD)来实现。这两种可编程电寻址空间光调制器件具有很高的刷新频率,非常适用于正弦 条纹光场相移控制和各种复杂结构照明光场的产生与调制。但是液晶空间光调制器和数字 微镜器件价格昂贵,还有一个更严重的问题是它们的透过率都不高,目前的光学显微系统 中如果使用这两种调制器件,光学成像系统的光透过率都远小于5%,目前的高功率LED光 源最大可输出约500mw的光功率,实验中最终能作用在样品上的有效光功率都在毫瓦量级 甚至更低,因此在对荧光发光效率低或者吸收强的样品成像时经常无法产生足够强的信号 光,这时通过增加探测器曝光时间来提高图像信噪比等方法无疑会降低成像系统的时间分 辨率。这些缺点严重制约了结构光照明技术的应用和普及。
技术实现要素:
针对目前结构光照明显微系统环境适应性差、图像质量低、有效光能利用率低的 技术问题,本发明提出一种高速结构光照明光学显微系统及方法。本发明只需要采集一副 初相位任意的带条纹原始图像和一幅不带条纹的普通宽场图像运算就能计算出某一纵向 位置z处的宽场光切片图,完全避免了条纹相移控制,因此完全不存在相移误差导致的残余 噪声影响光切片图像质量。因此本发明环境适应性非常好。由于不需要相移控制,本发明可 以使用朗奇光栅或正弦光栅替代数字微镜器件DMD或者液晶空间光调制器作为结构光产生 器。系统光透过率提升一个数量级且硬件成本大大降低。本发明有两种工作模式:三维荧光 成像模式和三维彩色成像模式。 本发明的技术解决方案是: 一种高速光学三维光切片显微系统,其特殊之处在于:包括第一照明光源1、第二 照明光源2、结构光产生器3、第一反射镜4、分光棱镜5、透镜6、分光镜7、显微物镜8、载物台 9、第二反射镜10、筒镜11以及相机12; 所述第一照明光源1和第二照明光源2平行设置,第一照明光源光路上依次设置有 结构光产生器3和第一反射镜4,第二照明光源2的光路上依次设置有分光棱镜5、透镜6以及 分光镜7,所述分光棱镜5设置在第一反射镜4的光路上,所述分光镜7的反射光路上依次设 置有显微物镜8和载物台9,所述分光镜7的透射光路上设置有第二反射镜10,所述第二反射 镜的放射光路上依次设置有筒镜11和相机12。 5 CN 111580260 A 说 明 书 3/6 页 进一步的,所述结构光产生器3为朗奇光栅、正弦光栅、数字微镜器件DMD或液晶空 间光调制器。 进一步的,所述第一照明光源1和第二照明光源2为非相干单色LED光源或复色LED 光源。 进一步的,所述相机12为灰度相机或彩色相机。 三维光切片成像模式中高速光学三维光切片显微方法,包括以下步骤: 1】形成结构光照明光场: 第一照明光源1产生的照明光入射到结构光产生器3上,第二照明光源2产生的照 明光与第一照明光源1经过分光棱镜5合束,再经过分光镜7反射,形成结构照明光场,结构 照明光场经过显微物镜8照射载物台9上的样品; 2】CCD相机采集二维图像: 打开第一照明光源1,关闭第二照明光源2,控制相机12采集一副带条纹的图像 IΔΦ; 打开第二照明光源2,关闭第一照明光源1,控制相机12采集一副带条纹的图像 Iwide; 3】图像处理: 建立坐标系,光学显微系统的光轴定义为Z轴,与光轴垂直的平面为X,Y平面;通过 公式(1)进行图像运算得到样品的二维光切片图像Iz(x,y),其中HTx表示在X方向进行希尔 伯特变换: 4】沿Z方向垂直移动显微物镜8或者载物台9后,执行步骤2】; 5】获取一系列Z方向样品的多层二维光切片图像,进而进行叠加得到样品完整的 三维图像信息I(x,y,z)。 进一步的,步骤4】重复几十到几百次。 三维彩色光切片成像模式中高速光学三维光切片显微方法,包括以下步骤: 1】第一照明光源1产生的照明光入射到结构光产生器3上,第二照明光源2产生的 照明光与第一照明光源1经过分光棱镜5合束,再经过分光镜7反射,形成结构照明光场,结 构照明光场经过显微物镜8照射载物台9上的样品; 2】相机12使用彩色相机,打开第一照明光源1,关闭第二照明光源2,控制相机12采 集一幅带条纹的彩色图像 打开第二照明光源2,关闭第一照明光源1,控制相机12采集一幅不带条纹的彩色 图像Iwide(RGB); 3】将采集到的带条纹的彩色图像 和不带条纹的彩色图像Iwide(RGB)分别 转换为灰度图像IΔΦ和Iwide; 4】建立坐标系,光学显微系统的光轴定义为Z轴,与光轴垂直的平面为X,Y平面;通 过公式(2)进行图像运算得到样品在xy平面的二维灰度光切片图像Iz(x,y),其中HTx表示在 X方向进行希尔伯特变换: 6 CN 111580260 A 说 明 书 4/6 页 5】将彩色图像Iwide(RGB)与二维灰度光切片图像Iz(x,y)相乘,得到彩色光切片图 像Iz(RGB)=Iz*Iwide(RGB) 6】沿Z方向垂直移动显微物镜8或载物台9后,执行步骤2]; 7】得到一系列样品在其它层的二维灰度光切片图,进而进行叠加得到样品完整的 彩色三维图像信息IRGB(x,y,z)。 进一步的,步骤6】重复几十到几百次。 本发明所具有的优点为: 1、本发明的核心是完全避免了精确的条纹相移控制,因此可以使用朗奇光栅或正 弦光栅替代数字微镜器件DMD或者液晶空间光调制器作为结构光产生器。系统光透过率提 升一个数量级且硬件成本大大降低。更适用于活体生物细胞的实时三维成像研究和快速的 动态过程观测。 2、本发明不仅适用于荧光显微,而且也适用于彩色表面显微,可观测非荧光样品。 3、本发明只需要采集一副任意初相位条纹图像和一幅不带条纹的普通宽场图像 运算就能得到某一深度位置z处的宽场光切片图,因此完全不存在相移误差导致的残余噪 声影响光切片图像质量。因此本发明成像速度快,环境适应性非常好。 附图说明 图1为结构光照明显微系统示意图; 附图标记如下:1-第一照明光源,2-第二照明光源、3-结构光产生器、4-反射镜,5- 分光棱镜,6-透镜,7-分光镜,8-显微物镜,9-载物台,10-反射镜,11-筒镜,12-相机。 图2为算法流程图,其中(a)为三维灰度光切片成像算法流程图,(b)为三维彩色光 切片成像算法流程图; 图3为植物花粉荧光显微三维光切片图,其中(a)-(d)为使用结构光照明样品得到 的不同深度光切片图;(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图;标尺为10 微米,层间距为10微米;(i)是结构光照明三维光切片得到的花粉的三维重建图像。 图4为昆虫彩色三维光切片图,其中(a)-(d)为使用结构光照明样品得到的不同深 度光切片图;(e)-(h)是与(a)-(d)对应的相同位置的普通宽场荧光图;标尺为10微米,层间 距为10微米;(i)是结构光照明三维光切片得到的花粉的三维重建图像。