技术摘要：
本发明公开了一种基于多模态影像贡献度融合的肝细胞癌分化评估方法，首先，建立有效高维多模态影像数据的关联表示，即选择一种合适的特征提取方式对多模态MRI影像进行特征提取，同时，利用多模态MRI影像贡献度自适应加权机制，对九个模态的MRI影像进行任务贡献度学习，  全部
背景技术：
肝细胞癌(Hepatocellular  Cancer，HCC)是最常见的肝脏原发恶性肿瘤及全球第 三大致死性癌症，它是一种由与正常肝细胞特征相似的细胞组成的上皮性肿瘤。肝硬化是 HCC最重要的临床危险因素，大约有80％的肝硬化患者最终转化为肝细胞癌。 而目前国内外诊断HCC分化程度的金标准是的基于穿刺病理活检，这种方式对人 体有损伤，且极具风险性，并且存在有创性、针道转移、取样误差等诸多缺陷。而在传统影像 学方法中，包括超声、CT、磁共振成像等多种影像技术均已用于肝细胞癌分级的研究中，但 常规的影像技术存在以下问题： 1)由于肝细胞癌分化时各种征象产生的变化非常复杂，而传统影像学方法多为定 性的诊断，受影像科医生主观经验影响大，缺乏更为准确的量化评估； 2)不同模态的影像通常会反映出的不同的病理特征，其中蕴含着不同的诊断信息 与对应种类的病灶区域的征象，因此不同模态的影像往往对最后分类任务的贡献程度不 同，而传统影像学方法多从单一模态影像技术的角度进行研究，无法做到多维度的全面评 估和不同模态的影像贡献度的充分利用。 本方法所采用的医学影像是核磁共振成像(MRI)，相比于CT、超声等医学成像方 式，MRI影像检查有一个突出特点：有着多样的成像序列，这些成像序列能够采集到各具特 点的MRI图像，不仅可以反映人体解剖形态，还能够反映人体血流和细胞代谢等生理功能信 息。MRI具有良好的软组织分辨力，对比分辨率高，它可以清楚地分辨各类软组织结构，并准 确区分脑灰质和白质。另外MRI还具有多个方位任意切层的能力(包括横轴位、冠状位、矢状 位及任意斜位)。多平面多参数成像可清楚地显示病变所在的位置、区域以及和周围组织器 官之间的关系，对许多病变的定性、定位和诊断有着其独特的优越性。最重要的是MRI对人 体辐射损害的特性避免了其他影像学检查如X射线对人体的损害。MRI是多参数成像，根据 成像参数的不同可以分为：T1加权成像(T1WI)、T2加权成像(T2WI)、T1加权同反相位成像、 弥散加权成像(DWI)、灌注加权成像(PWI)等，每种参数设置都反应不同模态的医学图像，同 一部位可以获得多种参数下的图像，不同参数的图像可以反映组织器官的不同特点，比如： T1WI有利于获取组织解剖结构，而T2WI可以显示组织的水分布，对出血较敏感，在确定病变 范围上有重要的作用；DWI能够检测活体组织内的水分子扩散运动；磁共振动态对比增强成 像(DCE-MRI)技术利用高空间分辨率、高时间分辨率及动态连续的成像方法可获取注入对 比剂前后的图像，可以同时反映病灶的形态学和血流灌注信息。对于肝脏疾病的检查，通常 使用T1WI、T2WI扫描和动态对比增强扫描(DCE-MRI)，其中动态增强扫描技术是肝脏特别是 肝癌检查最为常规方法，为HCC的无创评估提供了可能。 深度学习(Deep  learning)是机器学习中一种基于数据进行表征学习的算法。随 4 CN 111598864 A 说　明　书 2/5 页 着计算机能力的不断提高和算法的不断改进，深度学习特别是深度卷积神经网络 (Convolutional  neural  network,CNN)已经迅速发展成为医学图像分析的研究热点。CNN 的卷积结构能够自动学习医学图像数据的局部特征，还可以通过不同卷积核来提取多层次 特征，其中底层特征包含更多图像的细节，而高层特征则降低了对基层特征的敏感性且包 含更高级的语义信息。减少了噪音的影响，有助于提高图像分类或者分割的准确性。基于卷 积神经网络的医学辅助诊断系统已成为智能医疗的主要发展方向。假定基于多模态医疗影 像数据结合深度学习技术能通过人类样本学习出揭示反映HCC分化程度的影像特性和诊断 模式，以临床经验作为经验知识，采取多模态MRI影像数据的贡献度自适应融合机制，实现 融合数据学习与经验知识结合的HCC分化程度估测，进而解决针对多模态MRI影像的HCC分 级问题。
技术实现要素：
本发明的目的在于提供一种基于多模态MRI影像分类贡献度自适应加权融合的肝 细胞癌分化程度评估方法,用深度学习方法对多模态影像数据建模，并将不同模态的MRI影 像对最后分类结果的贡献度与其经过特征提取器所得的特征进行融合，并为结合了贡献度 的多模态特征添加分类器，以实现HCC分化程度的分级。 为了实现上述目的，本发明采用以下技术方案：首先，建立有效高维多模态影像数 据的关联表示，即选择一种合适的特征提取方式对多模态MRI影像进行特征提取，同时，利 用多模态MRI影像贡献度自适应加权机制，对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包 含的Plain  Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI影像进行任务贡献度学习，然后 将任务贡献度学习所得的参数结果与多模态融合MRI数据经过特征提取器所得的特征进行 特征层融合，最后，在网络顶端添加分类器，使用结合了贡献度的多模态MRI影像特征进行 HCC分化程度的分级任务，以实现更为精准的预测。 一种基于多模态MRI影像分类贡献度自适应加权融合的肝细胞癌分化程度评估方 法，包括以下步骤： 步骤1，利用卷积神经网络对多模态肝细胞癌分化程度医疗影像进行特征提取,并 得到基于多模态MRI影像融合数据的特征F； 步骤1.1，采集T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain  Scan、EAP、 LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列，并在对九种肝细胞癌分化程度医疗影像 序列处理后进行拼接，得到多模态肝细胞癌分化程度医疗影像，其中包括由2D  MRI影像拼 接而成的3D张量和由3D  MRI影像拼接而成的4D张量； 步骤1.2，利用卷积神经网络对融合好的多模态肝细胞癌分化程度医疗影像进行 特征提取，并得到基于多模态融合影像的特征F，其中F∈RH×W×C，H、W、C分别代表特征的宽、 高和通道数； 步骤2，针对拼接好的3D和4D张量，即多模态融合数据，使用两种重新设计多模态 贡献度学习及加权模块分别进行贡献度的学习和特征加权，具体包括如下步骤： 步骤2.1，将两种重新设计的多模态贡献度学习及加权模块与特征提取模块进行 并联，保证特征提取和贡献度学习结果的融合； 步骤2.2，首先利用全局平均池化将多通道多模态融合影像特征处理成一个一维 5 CN 111598864 A 说　明　书 3/5 页 张量，再使用全连接层，引入一个参数W和非线性ReLU激活函数，用于学习不同模态对最后 分类任务的贡献度； 步骤3，针对上述步骤得到的多模态MRI肝细胞癌分化程度影像针对HCC分化程度 分级任务的贡献度和多模态MRI影像融合数据的特征F，引入Reweight模块为每一个对应模 态的特征赋予权值，以调整其特征对最后分类结果的影响。 步骤4，采用优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合 训练； 步骤5，联合训练完成后，即可用来对HCC分化程度进行准确预测，得到基于融合分 类贡献度多模态MRI影像特征，直接添加浅层分类器进行HCC的分化程度判别。 步骤1.1中，由于不同序列的层厚和分辨率不完全相同，因此对T1WI/IN、T1WI/ OUT、T2WI和DCE-MRI序列中包含的Plain  Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医 疗影像序列进行数据的归一化、标准化和预处理，归一化处理后9种模态3D和4D影像序列大 小分别为H×W×C和H×W×C×B,H、W、C、B分别为图像的长宽通道数和序列数,便得到了2D 和3D两种融合方式的多模态医疗影像。 步骤1.2中所进行的特征提取操作采用的卷积神经网络模块为ResNet18中的一个 ResBlock，其由一个1×1、3×3、1×1构成的瓶颈层和一个Batch  Normalization操作组成， 其中ResBlock不仅可以有效地提取特征，而且可以减少反向传播中的梯度弥散问题，而BN 的加入则可以加快训练速度并提升网络的泛化能力。 步骤2和3所采用的用于学习不同模态贡献度的网络由全局平均池化、一层非线性 (二层针对4D输入)全连接层，和Reweight操作构成，首先将步骤1中所提取的特征通过全局 平均池化按照通道维压缩成一维特征，通过引入的非线性函数学习一维特征中所蕴含的不 同模态的贡献值，Reweight操作则是将学到的贡献值与之前提取特征的对应的通道进行加 权，使得贡献度和对应模态所得的特征足以完美融合。 步骤4中所述的优化算法采用一阶矩估计的指数衰减率α1＝0.9，二阶矩估计的指 数衰减率α2＝0.999，初始学习率e＝0.09的自适应矩阵估计，优化目标是调整网络中的可 训练参数使损失函数最小化。 步骤4中采用的训练方法为特征提取模块和贡献度学习模块的联合训练，其中，训 练数据为肝细胞癌分化程度分级数据，其中训练样本100例，验证样本50例，训练标签为经 过有经验的放射科医生标注和放射科主任医生验证；损失函数为交叉熵损失函数。 有益效果 本发明通过对不同模态的医疗影像采用贡献度学习的方式，获取不同模态的MRI 影像对于最后HCC分化程度分级任务的贡献度，不仅为提供不同模态对HCC分化程度识别能 力。结合了模态贡献度的深度学习，可以得到精准HCC分化程度分级的预测结果。本发明比 起传统影像学诊断方法，则排除了主观因素的影响并同时考虑到了各个多模态MRI序列的 诊断能力和贡献，从而使得到的结果更加准确和鲁棒。 附图说明 图1为本发明的2D&3D多模态MRI影像融合方法框图； 图2为本发明的总体模块及方法框图； 6 CN 111598864 A 说　明　书 4/5 页 图3为本发明的2D多模态影像贡献度自适应融合特征提取模块； 图4为本发明的3D多模态影像贡献度自适应融合特征提取模块；