logo好方法网

心脏MR图像自动分割方法、装置、电子设备和存储介质


技术摘要:
本发明提供了一种基于Dilated‑DenseNet卷积网络的左心室MR图像分割方法。该方法利用空洞卷积缓解深度学习中梯度消失和内存过度消耗的问题,并且通过数据增强和提取感兴趣区域的方法提升了网络的准确性。分割结果采用最小平均欧几里得距离、Dice系数等指标进行评价分析  全部
背景技术:
心脏病是造成现代世界人们死亡的主要病因之一。在全世界因病死亡的患者中每 三个病例就有一例是心脏病。近些年来,核磁共振(Magnetic  Resonance,MR)图像技术越来 越成熟,心脏MR图像为医生提供了更为准确的疾病信息,对于医学临床治疗具有重大意义。 但是由于病人太多,医生每天接收到的患者MR图像可能达到成百上千张,人工看图诊断一 方面耗费人力,另外也过于依赖医生的经验知识,从而判断结果会偏于主观。 基于这些问题,现有技术对心脏MR图像的自动分割算法进行了广泛的研究,可以 分为两大类:传统分割算法和基于深度学习的分割算法。 在传统算法里,为了分割出左心室的内膜和外膜边界,主要采取动态规划法和活 动轮廓模型法,但是单纯利用这两种方法很难达到令人满意的效果,需要对这两种算法上 进行优化或综合其他算法。例如,胡怀飞提出了一种采用非极大值抑制和限制区域范围的 动态规划分割算法(在下文中用“HU的方法”来表示胡怀飞提出的算法),在此算法中,极大 值点代替了基本动态规划中的梯度代价,能较好地克服非心外膜组织的强边缘干扰,然而, 其不足之处在于个别图像中,心肌内部出现的极大值点对心外膜提取有较大的干扰。 近些年来,深度学习在语义识别、计算机视觉上取得了突飞猛进的发展,很多学者 也将深度学习用于左心室的分割上。Avendi等人提出一种基于深度学习算法的左心室自动 分割方法。他们将问题分解为定位、形状推断和分割任务,选择卷积网络进行定位和提取感 兴趣区域(Region  of  Interest,ROI),用分层预训练来防止网络的过拟合现象,使用堆叠 AE稀疏自编码神经网络进行训练,该种方法具有较强的鲁棒性和准确性。 但是,在利用深度学习的方法分割左心室MR图像时,梯度消失现象是经常容易出 现的问题。在计算机视觉会议CVPR2017年提出的网络中,DenseNet脱离了加深网络层数 (ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维,从特征的角度考虑,通 过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了 梯度消失问题的产生,加强了特征的传递并更有效地利用了特征,在一定程度上减少了参 数数量。但是,DenseNet有个缺陷,其特征的数量仍然会随着网络层数的增加而成倍的增 长,会非常消耗内存并且在训练时也会过于浪费时间。
技术实现要素:
本发明实施例的目的是提供一种心脏MR图像自动分割方法、装置、电子设备及存 储介质,借以解决利用深度学习网络进行MR图像自动分割时梯度消失和内存过度消耗的问 题,并提升网络的准确性,继而提高分割的精度。 本发明提供的技术方案如下: 5 CN 111598838 A 说 明 书 2/11 页 第一方面,本发明实施例提供了一种心脏MR图像自动分割方法,所述方法包括: 对训练集中的心脏MR图像数据进行感兴趣区域提取,并进行数据增强; 基于所述数据增强后的数据,进行Dilated-DenseNet网络模型训练,所述模型训 练包括调整所述Dilated-DenseNet网络的参数; 判断所述网络模型是否满足收敛条件,若否则重复进行Dilated-DenseNet网络模 型训练,直到调整后的Dilated-DenseNet网络模型符合收敛条件; 对测试集的心脏MR图像数据进行感兴趣区域提取,并以最终网络模型对预处理的 图像数据进行分割,得到图像分割的结果。 优选地,所述心脏MR图像数据的感兴趣区域提取具体包括以下步骤: S1 .取出所述心脏MR图像中间层的MRI图像,将所述MRI图像的中心作为第一参考 点R1,以R1为中心提取110*110像素大小的图片; S2.对提取出的110*110像素大小图片进行分割,得出多个连通区域,计算所述每 个连通区域的面积和连通区域质心到R1的距离,若连通区域面积大于预设面积且距离小于 预设距离,则将该连通区域的质心列为第一候选点;判断是否有第一候选点,若有,则找出 所有第一候选点中距离R1最近的点作为第一血池质心s1;若没有,则以第一参考点R1作为 第一血池质心s1;以s1为中心提取110*110像素大小的图片,中间层的感兴趣区域提取完 毕; S3.开始心尖层方向的分割,将上一层的第一血池质心s1作为第二参考点R2,以第 二参考点R2为中心提取110*110像素大小的图片; S4.对提取出的110*110像素大小图片进行分割,得出多个连通区域,计算每个连 通区域的面积和连通区域质心到第二参考点R2的距离,若连通区域面积大于预设面积且距 离小于预设距离,则将该连通区域的质心列为第二候选点;判断是否有第二候选点,若有, 则找出所有第二候选点中距离第二参考点R2最近的点作为第二血池质心s2;若没有,则以 第二参考点R2作为第二血池质心s2;以s2为中心提取110*110像素大小的图片,心尖层的感 兴趣区域提取完毕;判定心尖层方向有没有剩余未分割的图片,如果有则继续S3、S4步骤, 如果没有则结束心尖层方向的分割; S5.开始心底层方向的分割,将上一层的血池质心作为第三参考点R3,以R3为中心 提取110*110像素大小的图片; S6.对提取出的110*110像素大小图片进行分割,得出多个连通区域,计算每个连 通区域的面积和连通区域质心到R3的距离,若连通区域面积大于预设面积且距离小于预设 距离,则将该连通区域的质心列为第三候选点;判断是否有第三候选点,若有,则找出所有 第三候选点中距离R3最近的点作为第三血池质心s3;若没有,则以第三参考点R3作为第三 血池质心s3,以s3为中心提取110*110像素大小的图片,当前心底层的感兴趣区域提取完 毕;判定心底层方向有没有剩余未分割的图片,如果有则继续S5,S6步骤,如果没有则结束 心底层方向的分割。 优选地,所述数据增强包括如下步骤: 对训练集中的MR图像数据进行预定方向的旋转,得到预定倍数的数据。 优选地,所述Dilated-DenseNet网络包括8层Dense  Layer,网络中每一层Dense  Layer都和前面所有的Dense  Layer有直接的连接,包含前面层传递来的特征信息;每一层 6 CN 111598838 A 说 明 书 3/11 页 的特征图总数为本层新增的特征图数量与其前一层特征图数量之和; 网络的开始进行5×5卷积;网络的结束进行softmax计算;网络中间的每一层分别 依次进行批量标准化、ReLU激活函数、3×3空洞卷积计算。 优选地,所述Dilated-DenseNet网络的输入层为110*110像素大小左心室感兴趣 区域单通道图像,进行一次5*5的卷积操作连接第一层Dense  Layer;第一层Dense  Layer首 先进行批量标准化操作,然后通过ReLU激活函数,再由扩张率为1、卷积核大小为3的空洞卷 积连接第二层Dense  Layer;第二层Dense  Layer在连接下一层的时候采取批量标准化、 ReLU激活函数、3×3空洞卷积计算,只是此时所用空洞卷积的扩张率为2,随着层数不断加 深,扩张率进行相应的翻倍,整个网络中图像大小不变,恒为110*110像素,在到达第八层 Dense  Layer后,进行Softmax操作连接输出层,最终输出层为110*110像素的左心室内外膜 的掩膜区域和背景图像。 优选地,所述判断分割结果是否优于调整参数之前的结果具体包括: 判断自动分割的轮廓和金标准的接近程度,用平均最小欧几里得距离进行区分, 所述平均最小欧几里得距离定义如下, 其中,d(ai,B)是边界A上的像素点ai到边界B上所有像素点的距离的最小值。 优选地,所述判断分割结果是否优于调整参数之前的结果具体包括: 判断自动分割的轮廓和金标准的接近程度,用Dice系数进行区分,所述Dice系数 计算如下: 设自动分割轮廓包围面积为Aa,金标准轮廓包围面积为Am, 其中,Dice系数的值介于0到1之间,Dice系数的值越接近1,表示分割结果越接近 金标准; 在计算Dice系数时,低于AMED阈值的轮廓被排除在外,只有高于AMED阈值的轮廓 才参与计算。 第二方面,本发明实施例提供了一种心脏MR图像自动分割装置,所述装置包括: 对训练集中的心脏MR图像数据进行感兴趣区域提取,并进行数据增强的单元; 基于所述数据增强后的数据,进行Dilated-DenseNet网络模型训练的单元,所述 模型训练包括调整所述Dilated-DenseNet网络的参数; 判断所述网络模型是否满足收敛条件,若否则重复进行Dilated-DenseNet网络模 型训练,直到调整后的Dilated-DenseNet网络模型符合收敛条件的单元;对测试集的心脏 MR图像数据进行感兴趣区域提取,并以最终网络模型对预处理的图像数据进行分割,得到 图像分割的结果的单元。 第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括: 一个或更多个处理器; 一个或更多个存储器; 7 CN 111598838 A 说 明 书 4/11 页 一个或更多个模块,其被存在存储器中且能够由所述一个或更多个处理器中的至 少一个处理器以执行如第一方面所述心脏MR图像自动分割方法的步骤。 第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存 储介质,用于存储一个或多个计算机程序,所述计算机程序在所述传感器数据输入时,被所 述中央处理模块执行,实现根据第一方面所述的方法。 本发明实施例提供了一种心脏MR图像自动分割方法、装置、电子设备及存储介质, 通过基于Dilated-DenseNet卷积网络的左心室MR图像分割方法,利用空洞卷积缓解了深度 学习中梯度消失和内存过度消耗的问题,并且通过数据增强和提取感兴趣区域的方法提升 了网络的准确性,继而提高了分割的精度。 附图说明 下面将以明确易懂的方式,结合附图说明优选实施方式,对异步系统的实现方法、 电子设备和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。 图1是本发明实施例中一种图像自动分割方法的流程示意图; 图2是本发明实施例心脏MR图像分割模型示意图; 图3a是本发明实施例心室分割数据集上的原图片; 图3b表示本发明实施例心室分割数据集上的原图片中的感兴趣区域; 图4是本发明实施例中左心室形状示意图; 图5是本发明实施例ROI提取流程示意图; 图6是本发明实施例中MR图像数据增强示意图; 图7表示本发明实施例Dilated-DenseNet网络结构示意图; 图8a为普通3*3卷积网络; 图8b为扩张率为2的3*3空洞卷积网络; 图9是本发明实施例一种电子设备的结构示意图。
分享到:
收藏