技术摘要：
本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，所述系统包括：第一神经网络模块，其以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号；第二神经网络模块，其以原始光声信号作为输入信号；第三神经网络模块，其以所述第一神经网络  全部
背景技术：
光声成像(Photoacoustic  Imaging，PAI)是一种非入侵式和非电离式的新型生物 医学成像技术。当脉冲激光照射到(热声成像则特指用无线电频率的脉冲激光进行照射)生 物组织中时，组织的光吸收域将产生超声信号，这种由光激发产生的超声信号为光声信号。 生物组织产生的光声信号携带了组织的光吸收特征信息，通过探测光声信号能重建出组织 中的光吸收分布图像。光声成像技术在保持超声成像的高穿透深度的优点的同时还具备比 超声成像更高的空间分辨率和光学对比度。 目前的光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机 断层扫描)、PAM(光声显微成像)和PAE(光声内窥成像)。现有研究包括许多具有临床意义的 应用，如早期的肿瘤检测和小动物的全身成像。光声计算机断层扫描因其具有快速的成像 速度而在预临床领域得到快速的发展，其快速成像也依赖于高速的重构算法。 但是，现有技术中，解决上述问题的方法通常有迭代方法和非迭代方法。其中，迭 代方法消耗的时间长，无法应用于实时成像，而非迭代方法的求解速度虽快，能满足实时成 像的需求，但求解到的仅仅是近似解。 鉴于上述种种问题，本领域亟需一种求解速度快且求解结果精准的图像重构解决 方案。 申请内容 鉴于以上所述现有技术的缺点，本申请的目的在于提供基于深度学习的医学图像 重构系统、方法、终端、及介质，用于解决现有技术中的问题。 为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度学习的医 学图像重构系统，其包括：第一神经网络模块，其以原始光声信号经初步重构处理后所得的 近似医学图像信号作为输入信号；第二神经网络模块，其以原始光声信号作为输入信号；第 三神经网络模块，其以所述第一神经网络模块及第二神经网络模块的输出信号作为输入信 号，据以输出图像质量优于所述近似医学图像的医学图像。 于本申请的第一方面的一些实施例中，所述第一神经网络模块包括多层神经网 络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以 及激活函数层。 于本申请的第一方面的一些实施例中，所述第一神经网络模块的底层神经网络包 括尺寸为3x3的卷积层；所述第一神经网络模块的其它层均包括尺寸为3x3的卷积核的卷积 层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。 于本申请的第一方面的一些实施例中，所述第二神经网络模块包括多层神经网 络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以 3 CN 111724450 A 说　明　书 2/8 页 及激活函数层。 于本申请的第一方面的一些实施例中，所述第二神经网络模块的底层神经网络包 括尺寸为3x3的卷积层以及尺寸为20x3的卷积层；所述第二神经网络模块的其它层均包括 尺寸为3x3的卷积核的卷积层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。 于本申请的第一方面的一些实施例中，所述系统还包括：偏差计算模块，用于通过 梯度下降算法迭代计算所述第三神经网络模块的输出值与真实值之间的偏差，直至所述医 学图像重构系统趋于收敛。 为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度学习的医 学图像重构方法，其包括：接收以原始光声信号经初步重构处理后所得的近似医学图像信 号作为输入信号的第一输入信号；接收以原始光声信号作为输入信号的第二输入信号；根 据所述第一输入信号和第二输入信号，相应输出图像质量优于所述近似医学图像的医学图 像。 于本申请第二方面的一些实施方式中，所述方法包括：通过梯度下降算法迭代计 算所述方法输出的图像质量与真实图像的质量之间的偏差，直至该算法趋于收敛。 为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介 质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的医 学图像重构方法。 为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处 理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的 计算机程序，以使所述终端执行所述基于深度学习的医学图像重构方法。 如上所述，本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，具 有以下有益效果：本申请提供将深度学习与传统成像相结合的快速而高质量的重构框架 (Y-net)，所提算法在性能上优于现有的基于深度学习的前处理或后处理重构算法，不仅算 法速度快，能够满足实时成像，还能获得图像质量更优的医学图像。 附图说明 图1显示为本申请一实施例中基于深度学习的医学图像重构系统的示意图。 图2显示为本申请一实施例中第一神经网络模块的模型示意图。 图3显示为本申请一实施例中第三神经网络模块的模型示意图。 图4显示为本申请一实施例中医学图像重构系统的应用场景的示意图。 图5显示为本申请一实施例中医学图像重构系统所输出的图像的示意图。 图6显示为本申请一实施例中基于深度学习的医学图像重构方法的流程示意图。 图7显示为本申请一实施例中电子终端的结构示意图。
技术实现要素：
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书 所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实 施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离 本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施 4 CN 111724450 A 说　明　书 3/8 页 例中的特征可以相互组合。 需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当 理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组 成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请 的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定 实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下 方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另 一元件或特征的关系。 在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、 “固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接； 可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以 是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术 语在本申请中的具体含义。 再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形 式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特 征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组 件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括 性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个： A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相 排斥时，才会出现该定义的例外。 光声成像(Photoacoustic  Imaging，PAI)是一种非入侵式和非电离式的新型生物 医学成像技术。当脉冲激光照射到(热声成像则特指用无线电频率的脉冲激光进行照射)生 物组织中时，组织的光吸收域将产生超声信号，这种由光激发产生的超声信号为光声信号。 生物组织产生的光声信号携带了组织的光吸收特征信息，通过探测光声信号能重建出组织 中的光吸收分布图像。光声成像技术在保持超声成像的高穿透深度的优点的同时还具备比 超声成像更高的空间分辨率和光学对比度。 目前的光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机 断层扫描)、PAM(光声显微成像)和PAE(光声内窥成像)。现有研究包括许多具有临床意义的 应用，如早期的肿瘤检测和小动物的全身成像。光声计算机断层扫描因其具有快速的成像 速度而在预临床领域得到快速的发展，其快速成像也依赖于高速的重构算法。 在光声成像中，脉冲激光触发的光声信号的时空函数满足下式： 其中，vs表示声波的传播速度，p0(r)表示初始的压力分布。若定义一个x矩阵等于 初始压力分布p0(r)，将x通过一个传感器转换成所接收到的时域光声信号，同时收到采样 条件和环境因素影响，所接收到的信号y满足下式： y＝MSx n0；  公式2) 其中，M表示传感器的传输函数，S表示采样矩阵，n0表示采样过程中的噪声。从所 接收到的信号y中恢复初始的光声压力分布x就是光声重构。由于M矩阵受限于多个条件，例 5 CN 111724450 A 说　明　书 4/8 页 如光学性质或者声学性质等，通常无法精确求逆；同时S在很多时候也是无法满足全采样的 条件，因此通过y求出精确的x是一个不适定问题。 在现有技术中，解决上述问题的方法通常有迭代方法和非迭代方法。迭代方法是 指通过不断迭代x得到一满意的结果，但其所消耗的时间较长，无法应用于实时成像。非迭 代方法的求解速速快，可满足实时成像的需求，但其求解的x是一近似解。另外，现有技术中 虽也出现了一种通过卷积神经网络来拟合MS的逆运算的新兴的非迭代方法，但其仅在训练 集上表现良好，而在测试集上的泛化能力不高。 由此，本申请将传统非迭代方法与卷积神经网络相结合，提出一种新的网络结构。 在一实施例中，令所接收信号的噪声为零，且采样满足奈奎斯特采样定理，则可将公式2)简 化为下式： y＝Ax；  公式3) 已有的基于卷积神经网络的方法通过学习A-1来解决以上问题，以使x＝F(y,Θ)， 其中Θ是网络的参数。该方法虽能在训练集中拟合一个较好的结果，但是在测试集中效果 差强人意。 于本申请的一实施例中，通过非迭代方法获得x的近似解x’，并将该近似解x’亦作 为一输入变量输入网络中，以提升网络的鲁棒性。由此，在引入新的输入变量后，网络可以 用下式表示： x＝F(y,x',Θ)；  公式4) 如图1所示，展示本申请一实施例中基于深度学习的医学图像重构系统的示意图。 所述医学图像重构系统包括第一神经网络模块、第二神经网络模块和第三神经网络模块。 其中，第二神经网络模块的输入信号为原始光声信号；第一神经网络模块的输入信号为原 始光声信号经快速的孔径合成算法初始重构后的初始压强分布图信号；第三神经网络模块 的输入信号则为第一神经网络模块的输出信号以及第二神经网络模块的输出信号，并对输 入的两者信号进行解码操作。 如图2所示，展示本申请一实施例中第一神经网络模块的模型示意图。于本实施例 中，所述第一神经网络模块共有5层网络，底层是2个3x3的卷积层，其它层都由2个3x3的卷 积核的卷积层以及一个池化层组成，且每个卷积和池化操作后都附有激活函数。 举例而言，5层网络的底层是2个3x3的卷积层，其它层都由2个3x3的卷积核的卷积 层以及一个最大池化层组成，且每个卷积和池化操作后都附有ReLU函数作为激活函数。需 要说明的是，所述池化层包括但不限于最大池化层，在其它的实施例中，还可选用平均池化 层等。所述激活函数包括但不限于ReLU函数，在其它的实施例中，还可选用sigmoid函数、 tanh函数、或者改进型的ReLU函数，例如Leaky-ReLU函数、P-ReLU函数、或者R-ReLU函数等 等，本申请对此不作限定。 在一实施例中，如图2所示，第一神经网络模块接收一初始重构后的图像作为输入 信号，经过多层网络的编码后，完成输出，其中每一层的输出在池化前都被复制并与第三神 经网络相连接，这样的操作保证了经初始重构后的图像能够提供待测物体本身的纹理信 息，利于第三神经网络模块最终输出完整清晰的图像。 在一实施例中，第二神经网络模块的模型结构可参照图2中的第一神经网络模块 的模型结构，两者的网络结构类似，但在本实施例中，第二神经网络模块的底层还添加有一 6 CN 111724450 A 说　明　书 5/8 页 个20x3的卷积层。由于第二神经网络模块所接收的初始光声信号是多个时间序列的信号， 其尺寸并非方形图片的尺寸，故需经一较大的卷积核操作后将输入信号的尺寸调整为方 形，同时也在时间维度上提供更大的感受野。 在一实施例中，第二神经网络模块接收一初始光声信号作为输入信号，经过多层 网络的编码后，完成输出，其中每一层的输出在池化前都被复制并与第三神经网络相连接， 这样的操作保证了经初始重构后的图像能够提供待测物体本身的纹理信息，利于第三神经 网络模块最终输出完整清晰的图像。 如图3所示，展示本申请一实施例中第三神经网络模块的模型示意图。于本实施例 中，第三神经网络模块是一放大网络，其将来自第一神经网络模块和第二神经网络模块的 信息整合并解码出所需的重构图像。其中，除了第一层只接收来自第一神经网络模块和第 二神经网络模块的输出信号外，其它层还额外接收一个来自上一层网络的特征信号。 在一实施例中，所述医学图像重构系统还包括偏差计算模块，用于通过梯度下降 算法迭代计算所述第三神经网络模块的输出值与真实值之间的偏差，直至所述医学图像重 构系统趋于收敛。整个医学图像重构系统镜像一次初始化后，根据输出的结果计算偏差L (Θ)，这个损失函数是真实的压强分布与网络输出的压强分布间的欧氏距离，由下式表示： 通过梯度下降算法进行迭代网络的参数Θ，通过不断的迭代，直到网络的损失函 数不再变化，网络收敛则表示训练完毕。此时，理想的结果是x＝F(y,x')。 如图4所示，展示本申请另一实施例中医学图像重构系统的应用场景的示意图。图 4中所展示的是通过仿真而生成的大量分割的血管原始光声信号与初始压力分布图，成像 区域被设定为38.4x38 .4mm，声速为1500m/s，所有图片的尺寸为128x128，整个数据集由 4700个训练集和400个测试集组成。其中，128路阵列探头位于成像区域最上方，以获得尺寸 为128x128的图片。 为进一步说明本申请提供的医学图像重构系统的优越性，在本实施例中，将其它 现有的比较成熟的网络结构与本申请提供的图像重构系统的一些变体进行同时训练比较 性能，所有的实验程序都在深度学习开源框架Pytorch上实现，且传统重构方法使用的是延 迟叠加算法。比较的结果信息如下表所示： 7 CN 111724450 A 说　明　书 6/8 页 Y-Net(concatenate  BF)表示去除第二神经网络模块和第三神经网络模块的连 接，Y-Net(concatenate  signals)表示去除第一神经网络模块和第三神经网络模块的连 接。U-Net方法是使用基于神经网络的后置处理方法。值得注意的是，在这次实验中传统重 构方法使用的的延迟叠加算法(DAS)是最经典的快速成像算法，其最大优势是成像速度快。 由上表可知，本申请提供的基于Y-Net重构框架的医学图像重构系统在结构相似 性(SSIM)方面的表现优于其它算法，在峰值信噪比(PNSR)方面的表现同样优于其它算法， 在信噪比(SNR)方面的表现更是明显优于其它算法。 如图5所示，展示本申请一实施例中医学图像重构系统所输出的图像的示意图。为 便于对比，图5中第一行(a)Ground  truth所对应的图片是初始光声压力图像，第二行(b) DAS所对应的图片是基于现有技术中的重构方法得到的图像，第三行(c)Y-Net则是基于本 申请的医学图像重构系统得到的图像。 结合图4、图5和上表可知，本申请提供的图像重构系统不仅可获得质量更高的输 出图像，且在算法性能上也明显优于传统的基于深度学习的前处理或后处理重构算法。 应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以 全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过 处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件 调用软件的形式实现，部分模块通过硬件的形式实现。例如，神经网络模块可以为单独设立 的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式 存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上神经网络模块 的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立 实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上 述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件 形式的指令完成。 例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如： 一个或多个特定集成电路(Application  Specific  Integrated  Circuit，简称ASIC)，或， 一个或多个微处理器(digital  signal  processor，简称DSP)，或，一个或者多个现场可编 程门阵列(Field  Programmable  Gate  Array，简称FPGA)等。再如，当以上某个模块通过处 理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器 (Central  Processing  Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块 可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。 如图6所示，展示本申请一实施例中基于深度学习的医学图像重构方法的流程示 意图。于本实施例中，所述方法包括步骤S61、步骤S62以及步骤S63。 在一些实施方式中，所述方法可应用于控制器，例如：ARM控制器、FPGA控制器、SoC 控制器、DSP控制器、或者MCU控制器等等。在一些实施方式中，所述方法也可应用于包括存 储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克 风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机； 所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数 字助理(Personal  Digital  Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述 方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实 8 CN 111724450 A 说　明　书 7/8 页 体服务器上，也可以由分布的或集中的服务器集群构成。 在步骤S61中，接收以原始光声信号经初步重构处理后所得的近似医学图像信号 作为输入信号的第一输入信号。 在步骤S62中，接收以原始光声信号作为输入信号的第二输入信号。 在步骤S63中，根据所述第一输入信号和第二输入信号，相应输出图像质量优于所 述近似医学图像的医学图像。 在一实施例中，所述方法还包括：通过梯度下降算法迭代计算所述方法输出的图 像质量与真实图像的质量之间的偏差，直至该算法趋于收敛。 需要说明的是，本实施例中基于深度学习的医学图像重构方法的实施方式，与上 文中基于深度学习的医学图像重构系统的实施方式类似，故不再赘述。 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通 过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质 中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介质。 如图7所示，展示本申请一实施例提供的再一种电子终端的结构示意图。本实例提 供的电子终端，包括：处理器71、存储器72、收发器73、通信接口74和系统总线75；存储器72 和通信接口74通过系统总线75与处理器71和收发器73连接并完成相互间的通信，存储器72 用于存储计算机程序，通信接口74和收发器73用于和其他设备进行通信，处理器71用于运 行计算机程序，使电子终端执行如上基于深度学习的医学图像重构方法的各个步骤。 上述提到的系统总线可以是外设部件互连标准(Peripheral  Component  Interconnect，简称PCI)总线或扩展工业标准结构(Extended  Industry  Standard  Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。 为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接 口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储 器可能包含随机存取存储器(Random  Access  Memory，简称RAM)，也可能还包括非易失性存 储器(non-volatile  memory)，例如至少一个磁盘存储器。 上述的处理器可以是通用处理器，包括中央处理器(Central  Processing  Unit， 简称CPU)、网络处理器(Network  Processor，简称NP)等；还可以是数字信号处理器 (Digital  Signal  Processing，简称DSP)、专用集成电路(Application  Specific  Integrated  Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable  Gate  Array， 简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。 综上所述，本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，本 申请提供将深度学习与传统成像相结合的快速而高质量的重构框架(Y-net)，所提算法在 性能上优于现有的基于深度学习的前处理或后处理重构算法，不仅算法速度快，能够满足 实时成像，还能获得图像质量更优的医学图像。所以，本申请有效克服了现有技术中的种种 缺点而具高度产业利用价值。 上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟 悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因 此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完 9 CN 111724450 A 说　明　书 8/8 页 成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。 10 CN 111724450 A 说　明　书　附　图 1/4 页 图1 图2 11 CN 111724450 A 说　明　书　附　图 2/4 页 图3 图4 12 CN 111724450 A 说　明　书　附　图 3/4 页 图5 图6 13 CN 111724450 A 说　明　书　附　图 4/4 页 图7 14