
技术摘要:
一种基于Mask轮廓的细胞图像分割方法,包括以下步骤:步骤1,制作数据集;步骤2,细胞的特征提取,包括以下步骤:2.1、特征提取网络的搭建;2.2、特征多尺度融合;步骤3,多任务分支网络的搭建,主要搭建分类分支网络、分割分支网络以及Centerness分支网络,将融合后的 全部
背景技术:
分子细胞水平研究是新药研制的重要组成步骤,特别近些年来,癌症等细胞疾病 的发病率呈逐年上升的趋势。在我国,每年有过百万人被检测出患有癌症,并有大量患者因 癌症而死亡,因此,抗癌药物的研发对于癌症的治疗和预防起着至关重要的作用,医学病理 细胞图像分析是抗癌药物研发过程中的一个重要步骤。在医学细胞图像分析中,细胞图像 的检测与分割是最为重要的环节之一,同时也是对细胞图像进行识别等研究的基本前提。 在病理细胞图像的分割任务中,最常遇到的问题是由细胞图像切片制作不理想所带来的。 在切片制作过程中,显微镜下的细胞图像呈现出随机分布的状态,由于人为或自然因素而 导致细胞图像中出现细胞重叠或粘连的情况。真实细胞图像具有多样性和复杂性。例如,单 个细胞的大小和形状不一,团簇细胞之间发生重叠甚至相互挤压变形,细胞质及细胞核区 域不均匀等。细胞图像的这些缺陷会对细胞图像的检测和分割过程造成不良影响,导致检 测与分割结果出现误差。 图像分割是指根据图像的纹理、灰度、色彩、几何信息等不同特征进行区域划分, 把图像分割成若干区域,将感兴趣区域提取出来的过程。随着深度学习的发展,因其优越性 被广泛用于解决图像分割问题。面向CNN区域分类的图像分割算法是将传统图像处理算法 与深度学习中的卷积神经网络相融合,先将输入的图片按不同的目标进行候选区域的划 分,得到候选区域后再通过网络对区域内每个像素进行语义分类,然后使用分类器分类的 结果对输入图像进行标注,最终得到分割的Mask结果。其中,候选区域的质量决定了图像分 割的精度,故面向CNN区域分类的图像分割算法的关键在于如何从输入图像中产生不同的 目标的候选区域。根据区域生成算法以及候选区域划分标准的不同,可以将面向CNN区域分 类的图像分割算法分成两类:基于候选区域的方法和基于分割掩膜的方法。在基于候选区 域的分割方法中常见的算法有SDS、MCG、Mask R-CNN、Mask Scoring R-CNN等,在基于掩膜 的分割方法中常见的算法有DeepMask、SharpMask等。
技术实现要素:
为了解决现有深度学习算法在细胞图像分割时存在复杂度高、处理时间慢的问 题,本发明提供一种利用网络对目标生成Mask轮廓并对轮廓进行精修的细胞图像分割方 法。 本发明解决其技术问题所采用的技术方案如下: 一种基于Mask轮廓的细胞图像分割方法,包括以下步骤: 3 CN 111723845 A 说 明 书 2/4 页 步骤1:制作数据集,使用MS COCO数据集格式,人工对数据集进行Ground Truth (GT)的制作作为网络的训练集; 步骤2:特征提取网络的构建和多尺度特征的融合,特征提取网络选用深度残差网 络RseNet,其中RseNet采用50层卷积结构进行搭建,同时,在特征提取网络后加入FPN网络, 对提取出的特征进行多尺度的融合; 步骤3:多任务分支网络的搭建,搭建分类分支网络、分割分支网络以及 Centerness分支网络,将上一步特征融合后得到的图像特征分别送入这三个分支中进一步 操作处理; 步骤4:目标Mask轮廓的生成,通过可变形卷积网络在特征图上得到目标的多个特 征点,然后将特征点输入Graham算法生成初始目标的Mask轮廓; 步骤5:目标Mask轮廓的回归,初始目标的Mask轮廓之后,使用Ground Truth监督 对Mask轮廓进行精修,生成最终的目标Mask轮廓,完成整个细胞图像的分割。 进一步,所述步骤2中,特征提取网络构建的步骤如下: 2.1、ResNet-50作为特征提取网络,整个网络采用全卷积,所以将最后一层的全连 接层去掉,以ResNet-50中各阶段输出特征图尺寸不同作为划分依据,将其定义为5个阶段 C1-C5,分别是:conv1、conv2_x、conv3_x、conv4_x、conv5_x,其中第1个阶段conv1是由1个 卷积核为7×7的卷积层构成,输出通道数为64,步长为2的卷积层,在卷积层后加入一个 ReLu的激活函数,同时在C1和C2层之间加入一个步长为2的最大池化层,C2是由3个连续的 残差结构组成,其中每个残差结构都由2个卷积核大小为1×1,步长为1,输出通道数分别为 64和256的卷积层加上1个卷积核大小为3×3,步长为1,输出通道数为64的卷积层构成,其 C2层最后卷积输出通道数为256;C3-C5阶段都是由与C2阶段中相同的残差结构组成,只是 每个阶段的残差数量和最后卷积输出通道数不同,分别为(4,6,3)和(512,1024,2048),同 时为使网络在训练中加速收敛,在卷积和激活函数操作中均加入批量归一化操作; 2.3、FPN对提取的特征进行多尺度的融合,在ResNet-50的3个阶段中除去第一、第 二阶段的其他3个阶段提取到的特征进行自上而下连接和横向连接,P1阶段由C3阶段的输 出经过卷积核大小为1×1,步长为1,输出通道数为256的卷积层生成的特征图和P2阶段的 输出经过上采样操作得到的特征图相加而成;P2阶段类似于P1阶段,是由C4阶段和P3阶段 相加得到;P3阶段是由C5阶段直接通过卷积操作得到;而P4和P5阶段是分别由P3和P4阶段 经过步长为2的卷积操作得到;最后FPN将返回5个不同尺寸的特征图,其每个特征图的相邻 像素在原图上的差距分别为8、16、32、64、128个像素值。 本发明的有益效果为:利用可变卷积对特征图上每个像素点生成对应特征散点, 然后通过Craham算法将散点生成目标的伪Mask轮廓,并通过多任务损失不断对目标的Mask 轮廓进行回归,最终完成细胞图像的分割,该方法降低了图像分割任务的复杂度,降低了算 法训练时间,提升了算法性能。 附图说明 图1为本发明中细胞图像分割算法的流程图; 图2为本发明中特征提取网络结构示意图; 图3为本发明中提取特征多尺度融合示意图; 4 CN 111723845 A 说 明 书 3/4 页 图4为本发明中多任务分支网络结构示意图; 图5为本发明中细胞图像分割算法的结构图。