技术摘要：
本发明公开了一种基于深度学习的多摄像头高光谱成像方法、系统及介质，本发明多摄像头高光谱成像方法包括：根据彩色摄像头的光谱响应特性构建彩色反投影网络模块，根据灰度摄像头的光谱响应特性构建灰度反投影网络模块，利用彩色反投影网络模块、灰度反投影网络模块构  全部
背景技术：
高光谱图像通常包含几十上百个光谱波段，具有丰富的差异性光谱信息，已被广 泛应用于遥感地物分类、医疗辅助诊断、农业病虫害识别、农产品药物残留检测、日用产品 真伪鉴别等领域。然而，受成像元件、传感器技术限制，目前的高光谱成像设备往往具有成 像时间慢、体积大、携带不方便等缺点。而现有的便携式高光谱成像方案如多镜头多光谱成 像系统、手机电动旋转式多光谱成像组件等往往需要昂贵的成像装置或辅助硬件，很难做 到无辅助硬件条件下的高光谱成像，极大地限制了这些方案的适用范围。因此，充分挖掘现 有便携式成像设备(如智能手机)的光谱响应特性，实现无辅助硬件条件下的便捷高光谱成 像，能极大促进相关高光谱应用的落地，具有十分重要的意义。
技术实现要素：
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于深度学习的 多摄像头高光谱成像方法、系统及介质，本发明能够有效保证成像质量，大大缩减高光谱成 像时间，无需额外辅助装置或硬件，极大地提升了高光谱成像的便捷性，具有广泛的应用场 景。 为了解决上述技术问题，本发明采用的技术方案为： 一种基于深度学习的多摄像头高光谱成像方法，实施步骤包括： 1)分别获取彩色摄像头和灰度摄像头针对同一成像目标获取的彩色图像和灰度 图像； 2)将彩色图像和灰度图像输入到已训练完成的迭代反投影高光谱重建网络，得到 所述成像目标的高光谱图像，所述迭代反投影高光谱重建网络通过训练建立了彩色图像、 灰度图像两种输入数据和高光谱图像一种输出数据之间的映射关系。 可选地，步骤2)之前还包括构建迭代反投影高光谱重建网络的步骤，详细步骤包 括：S1)根据彩色摄像头的光谱响应特性构建彩色反投影网络模块，所述彩色反投影网络模 块用于将重建的高光谱图像投影到原彩色空间并计算与输入彩色图像的误差以提取彩色 图像的光谱特征；根据灰度摄像头的光谱响应特性构建灰度反投影网络模块，所述灰度反 投影网络模块用于将重建的高光谱图像投影到原灰度空间并计算与输入灰度图像的误差 以提取灰度图像的光谱特征；S2)利用彩色反投影网络模块、灰度反投影网络模块构建迭代 反投影高光谱重建网络，所述迭代反投影高光谱重建网络用于融合彩色反投影网络模块、 灰度反投影网络模块的不同层的特征提升重建效果。 可选地，步骤S1)中构建的彩色反投影网络模块包括： 4 CN 111579506 A 说　明　书 2/10 页 第一特征堆叠层，用于将输入的彩色图像的t个阶段的特征进行堆叠； 第一精馏卷积层，用于将对堆叠得到的特征进行高维特征压缩得到精馏特征； 第一恢复卷积层，用于对精馏特征恢复出高光谱图像； RGB光谱采样层，用于对恢复出的高光谱图像光谱采样重建彩色图像； 第一求差模块，用于将重建的彩色图像减去输入的彩色图像得到重建误差； 第一上采样卷积层，用于对重建误差进行光谱上采样得到误差上采样特征； 第一微调卷积层，用于对误差上采样特征进行微调； 第一求和模块，用于将微调后的误差上采样特征、精馏特征求和得到最终的输出 特征。 可选地，步骤S1)中构建的灰度反投影网络模块包括： 第二特征堆叠层，用于将输入的灰度图像的t个阶段的特征进行堆叠； 第二精馏卷积层，用于将对堆叠得到的特征进行高维特征压缩得到精馏特征； 第二恢复卷积层，用于对精馏特征恢复出高光谱图像； 灰度光谱采样层，用于对恢复出的高光谱图像光谱采样重建灰度图像； 第二求差模块，用于将重建的灰度图像减去输入的灰度图像得到重建误差； 第二上采样卷积层，用于对重建误差进行光谱上采样得到误差上采样特征； 第二微调卷积层，用于对误差上采样特征进行微调； 第二求和模块，用于将微调后的误差上采样特征、精馏特征求和得到最终的输出 特征。 可选地，步骤S2)中利用彩色反投影网络模块、灰度反投影网络模块构建的迭代反 投影高光谱重建网络包括： 彩色图像特征提取与光谱上采样模块，用于对输入的彩色图像进行特征提取与光 谱上采样； 灰度图像特征提取与光谱上采样模块，用于对输入的灰度图像进行特征提取与光 谱上采样； 反投影汇聚单元，所述反投影汇聚单元包括一个或多个重复的子单元，所述子单 元包括一个彩色反投影网络模块、一个灰度反投影网络模块以及一个用于将彩色反投影网 络模块、灰度反投影网络模块输出的彩色光谱特征、灰度光谱特征进行增强汇聚的特征汇 聚模块，所述彩色反投影网络模块的输入为彩色图像特征提取与光谱上采样模块的输出或 者上一个子单元的输出，所述灰度反投影网络模块的输入为灰度图像特征提取与光谱上采 样模块的输出或者上一个子单元的输出，彩色反投影网络模块、灰度反投影网络模块的输 出作为对应子单元的特征汇聚模块的输入，且该特征汇聚模块的输出构成该子单元的输 出； 输出卷积层，用于将最末端的子单元输出的特征生成最终的高光谱图像。 可选地，步骤2)之前还包括训练迭代反投影高光谱重建网络的步骤，详细步骤包 括：分别利用彩色摄像头、灰度摄像头的光谱响应特性生成训练数据集，通过训练数据集训 练构建得到的迭代反投影高光谱重建网络优化网络参数得到训练完成的迭代反投影高光 谱重建网络。 可选地，所述利用彩色摄像头、灰度摄像头的光谱响应特性生成训练数据集为 5 CN 111579506 A 说　明　书 3/10 页 {Xi,Yi,Zi}，其中{Zi}为已有的高光谱图像的集合，{Yi}为利用彩色摄像头的光谱响应曲线 对已有的高光谱图像的集合{Zi}做光谱下采样得到对应的彩色图像的集合；{Xi}为利用灰 度摄像头的光谱响应曲线对已有的高光谱图像的集合{Zi}做光谱下采样得到灰度图像的 集合；所述通过训练数据集训练构建得到的迭代反投影高光谱重建网络优化网络参数的步 骤包括：将训练数据集{Xi,Yi,Zi}送入迭代反投影高光谱重建网络，通过最小化如下式所示 的绝对值误差函数来优化网络参数； 上式中，N为样本数量，Net表示上述迭代反投影高光谱重建网络，θ为网络参数，Yi 为利用彩色摄像头的光谱响应曲线对已有的高光谱图像Zi做光谱下采样得到对应的彩色 图像；Xi为利用灰度摄像头的光谱响应曲线对已有的高光谱图像Zi做光谱下采样得到灰度 图像。 此外，本发明还提供一种基于深度学习的多摄像头高光谱成像系统，包括计算机 设备，该计算机设备的微处理器被编程或配置以执行前述基于深度学习的多摄像头高光谱 成像方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行前述基于深度 学习的多摄像头高光谱成像方法的计算机程序。 此外，本发明还提供一种智能终端，该智能终端至少包括彩色摄像头和灰度摄像 头、微处理器和存储器，该智能终端的微处理器被编程或配置以执行前述基于深度学习的 多摄像头高光谱成像方法的步骤，或者该智能终端的存储器中存储有被编程或配置以执行 前述基于深度学习的多摄像头高光谱成像方法的计算机程序。 此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有 被编程或配置以执行前述基于深度学习的多摄像头高光谱成像方法的计算机程序。 和现有技术相比，本发明具有下述优点： 1、本发明将彩色图像和灰度图像输入到已训练完成的迭代反投影高光谱重建网 络，得到所述成像目标的高光谱图像，通过构建的迭代反投影高光谱图像重建网络结合摄 像头的光谱响应特性，从大量的高光谱图像数据中学习成像先验，有效保证成像质量，大大 缩减高光谱成像时间。 2、本发明可方便地利用具有彩色摄像头、灰度摄像头的智能手机，从而能够方便 地在智能手机实现提取基于深度学习的高光谱成像，该高光谱成像方法无需额外辅助装置 或硬件，仅利用智能手机和内置的深度学习重建方法实现高光谱成像，极大地提升了高光 谱成像的便捷性，因此能有效扩大高光谱成像技术的适用范围，便于基于高光谱图像的皮 肤病分类、农作物药物残留检测等多种顶层应用的快速落地，具有广阔的应用前景和巨大 的实用价值。 附图说明 图1为本发明实施例方法的基本流程示意图。 图2为本发明实施例方法的原理示意图。 图3为本发明实施例中彩色反投影网络模块的结构示意图。 图4为本发明实施例中灰度反投影网络模块的结构示意图。 6 CN 111579506 A 说　明　书 4/10 页 图5为本发明实施例中迭代反投影高光谱重建网络的结构示意图。