技术摘要：
本发明提供了一种MRI脑肿瘤图像生成方法及系统，包括：步骤1：构建图像融合对抗生成的GAN网络；步骤2：构建重建图像内容的泊松方程插入算法；步骤3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基  全部
背景技术：
核磁共振成像(Magnetic  Resonance  Imaging,MRI)具有非侵入性，能在病人不接 受高电离辐射的情况下提供形状、大小及位置等信息，且具有良好的软组织对比度，在脑肿 瘤的诊断、治疗和手术引导中越来越受到人们的关注。但是高质量、金标准标注、大样本数 量的医学影像较少是医学影像辅助诊断研究中面临的重要问题之一。随着深度学习等算法 的兴起，基于临床知识规则驱动的专家系统逐渐被基于数据驱动的智能诊断算法取代，因 此高质量的医学影像数据是辅助诊断系统性能优异的前提与重要保障。如何基于现有临床 规则，根据分类诊断标签，影像组学标签编辑出对应合适的生成模板(mask)，生成临床医生 需求的接近真实临床影像数据分布的生成样本是本项目研究的难点与重点。由于脑肿瘤形 状复杂，大小和位置具有随机性，类型差异大等因素，导致目前还没有一种分割算法能够满 足临床的需要，实时性也无法达到要求，不同专家手动分割脑肿瘤图像的结果也有很大差 异，而且人工成本较高。因此，研究精确度高及鲁棒性强的脑肿瘤分割方法是十分有必要 的。 深度学习算法已经在医学图像分析的诸多领域得到广泛应用，例如：通过使用长 期短期记忆递归神经单元(Long  Short-Term  Memory  units，LSTM)的方法提取大脑结构的 全局上下文信息潜在特征，并通过3D  Hilbert空间填充曲线进行脑胶质瘤区域分割，实现 了肿瘤整体、肿瘤增强和坏死核心的平均Dice分别0.77、0.62和0.64；将带有预定义高斯差 分滤波器的卷积层和体素局部邻域信息用于构建新的CNN框架，结合了4种成像模式(T1前 对比，T1后对比，T2和FLAIR)，实现了肿瘤整体、肿瘤增强和坏死核心的平均Dice分别为 0.89、0.80和0.76；通过结合CRF的双重CNN来完成脑胶质瘤分割，该方法可以自动适应数据 中存在的类别不平衡问题。通过具有正则化自动编码器的CNN网络用于脑胶质瘤MRI分割， BraTs2018测试集上取得肿瘤整体、肿瘤增强和坏死核心的平均Dice分别为0.88、0.77和 0.81。 当前基于深度学习的分割方法是通过大量数据对模型进行训练，但目前三维数据 量有限，导致分割准确率低而不能应用于实际临床医学中。如何通过构建高质量的虚拟样 本来做有效的数据扩增(data  augmentation) ,来扩增训练数据样本分布空间，提高辅助诊 断系统的正确率、灵敏度及算法的鲁棒性是一个待解决的关键科学问题。因此本发明的发 明人提供了一种基于对抗生成网络和泊松方采用泊松方程插入的方法，构建性能稳定的多 MRI脑瘤影像的模拟生成算法，实现基于GAN和泊松方程编辑的图像扩增。 专利文献CN109087318A(申请号：201810835922.2)公开了一种基于优化U-net网 络模型的MRI脑肿瘤图像分割方法，所述方法包括：101、对获取的多模态MRI脑肿瘤图像数 据进行预处理；102、将经过预处理的多模态MRI脑肿瘤图像数据输入训练好的U-net网络模 5 CN 111612762 A 说　明　书 2/7 页 型中；103、获取U-net网络模型输出的多模态MRI脑肿瘤图像分割数据；其中，所述U-net网 络模型输出的多模态MRI脑肿瘤图像分割数据能够保留图像边缘信息，以生成完整的分割 图像特征图。
技术实现要素：
针对现有技术中的缺陷，本发明的目的是提供一种MRI脑肿瘤图像生成方法及系 统。 本发明采用使用编辑不同肿瘤区域、水肿区域、坏死区域不同的大小、尺寸、融合4 个模态的影像特征进行目标图像的生成，采用泊松方程插入的方法，根据原域图像(fs)的 梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容。 构建优化函数的目标函数：当训练GAN时，鉴别器想要目标函数最大化，也就是使 鉴别器判断真实样本为“真”，判断合成样本为“假”的概率最大化；相反，生成器希望最小化 目标函数，这是为了降低鉴别器对数据来源判断正确的概率。在训练过程中先固定生成器， 更新鉴别器的网络权重，交替迭代，双方都极力优化各自网络，使生成器生成接近真实样本 的数据，使得判别模型无法判断结果，达到真假难辨的目的。 为了解决最小化问题，利用有限差分离散化的图像像素网络对其进行离散化，并 采用雅克比矩阵方法(Jacobi  method)或高斯-赛德儿(Gauss-Seidel  iteration)迭代法 进行连续迭代。根据Dirichlet边界条件，引入导引场，通过计算定义域内的散度算子，得到 泊松的唯一解。 基于现有临床规则，根据分类诊断标签，影像组学标签编辑出对应合适的生成模 板，构建出临床医生需求的接近真实临床影像数据分布的生成样本，再通过构建高质量的 虚拟样本来做有效的数据扩增,从而扩增训练数据样本分布空间，提高辅助诊断系统的正 确率、灵敏度及算法的鲁棒性，提供快速、可靠的脑肿瘤分割结果，从而为脑肿瘤的诊断、治 疗和手术引导提供准确的依据。 根据本发明提供的多模态MRI脑肿瘤图像生成的分割方法，包括： 步骤1：构建图像融合对抗生成的GAN网络； 步骤2：构建重建图像内容的泊松方程插入算法； 步骤3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算 法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松 方程编辑MRI融合效果叠加得到最终的图像扩增结果。 优选的，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D； 所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分 布或随机分布或均匀分布； 所述判别模型D是一个二分类器，计算样本来自训练数据的概率。 优选的，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近 实际数据分布； 构建优化函数的目标函数： 6 CN 111612762 A 说　明　书 3/7 页 Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴 别器认为x是真实样本的概率，1 - D (G (Z) )是鉴别器认为合成样本为假的概率； 表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似 然估计；EZ表示对Z样本的最大似然估计。 优选的，所述步骤3包括： 根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重 建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像 覆盖的区域内的像素值f： 其中，Ω为合并后目标图像覆盖的区域， 为Ω封闭子集边界；合并后图像在Ω 内的像素值为f，在Ω外的像素值为ft， 表示图像对图像进行灰度值的梯度计算；v表示导 引场 插值的结果由原图像引导； 泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的 显著特征，使用如下方程得到向量v(x)： 其中 分别为原域图像的导引场及目标域图像的导引场。 优选的，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法 进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解， 是散度算 子； 其中， 是梯度算子。 根据本发明提供的多模态MRI脑肿瘤图像生成的分割系统，包括： 模块M1：构建图像融合对抗生成的GAN网络； 模块M2：构建重建图像内容的泊松方程插入算法； 模块M3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入 算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊 松方程编辑MRI融合效果叠加得到最终的图像扩增结果。 优选的，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D； 所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分 布或随机分布或均匀分布； 所述判别模型D是一个二分类器，计算样本来自训练数据的概率。 优选的，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近 实际数据分布； 7 CN 111612762 A 说　明　书 4/7 页 构建优化函数的目标函数： Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴 别器认为x是真实样本的概率，1 - D (G (Z) )是鉴别器认为合成样本为假的概率； 表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似 然估计；EZ表示对Z样本的最大似然估计。 优选的，所述模块M3包括： 根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重 建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像 覆盖的区域内的像素值f： 其中，Ω为合并后目标图像覆盖的区域， 为Ω封闭子集边界；合并后图像在Ω 内的像素值为f，在Ω外的像素值为ft， 表示图像对图像进行灰度值的梯度计算；v表示导 引场 插值的结果由原图像引导； 泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的 显著特征，使用如下方程得到向量v(x)： 其中 分别为原域图像的导引场及目标域图像的导引场。 优选的，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法 进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解， 是散度算 子； 其中， 是梯度算子。 与现有技术相比，本发明具有如下的有益效果： 1、本发明将医学图像和深度学习算法结合起来，完成多模态MRI脑肿瘤图像的生 成，这种全自动的脑肿瘤图像生成方法将帮助医生和科研工作者用于进行现有样本的数据 扩增，增强训练模型的精度和泛化性，为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确 的依据。 2、本发明与GAN网络等传统经典的图像生成方法相比较，其优势主要体现在加入 泊松方程编辑的图像生成算法，将GAN网络与泊松编辑融合应用于图像生成，使融合的图像 尽可能平滑，看上去没有明显梯度变化差异较大的边界，最终形成无缝拼接的效果。 8 CN 111612762 A 说　明　书 5/7 页 附图说明 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显： 图1为本发明的融合GAN网络和泊松方程编辑的图像生成算法流程图； 图2为本发明的对抗生成网络方法示意图； 图3为本发明的泊松方程编辑原理示意图。