技术摘要：
本公开文本提供了用于通过自动选择颜色参考向量来分离图像中的颜色的系统和方法，所述系统和方法考虑了光散射的影响并且主要考虑了所述光散射在不同染色剂浓度下改变RGB通道信号在检测到的光中的比例的方式。
背景技术：
在对生物样品(诸如组织切片、血液、细胞培养物等)进行分析时，将生物样品用一 种或多种荧光团或色原进行染色并且然后进行扫描或照相以供分析。观察依据扫描生成的 信号实现了各种过程，包括对疾病的诊断、对治疗反应的评估和对抗击疾病的新药物的研 发。测定物包括来自人类受试者的生物样品(诸如组织切片)，所述生物样品用含有与抗体 缀合的荧光团或色原的染色剂进行处理，所述抗体与样品中的蛋白质、蛋白质片段或其他 靶标结合。在扫描测定物后，得出包括色彩通道的图像数据的多个通道，其中，每个观察到 的通道包括多个信号的混合。 多重免疫组织化学(IHC)染色是一种用于检测单个组织切片中多个生物标志物的 技术并且由于其显著效率和其所包含的丰富诊断信息而广受欢迎。与多个载玻片中的单个 生物标志物标记相反，多重IHC载玻片具有在一个组织切片中同时识别多个生物标记物的 潜在优势。因此，它常常用于同时评估癌组织的多个特点。 通常使用颜色分离(或光谱解混)来确定特定染色剂在测定物的观察到的一个或 多个通道中的浓度。这也可以称为颜色去卷积。解混过程提取染色剂特定通道，以使用针对 标准类型的组织和染色剂组合公知的颜色参考向量或参考光谱确定各个染色剂的局部浓 度。所扫描图像的每个像素由图像值的向量或颜色向量表示，并且每个染色剂对应于颜色 参考向量。染色剂的局部浓度由颜色参考向量的比例因子表示。因此，包含不同浓度的多个 共同定位的染色剂的像素的颜色向量是所有现有染色剂的参考光谱的线性组合。荧光成像 颜色通道通常直接提供图像向量和参考光谱。在明场(透射)成像中，将被染色的组织所发 出的光强度转化为光学密度空间，其中不同染色剂的混合由有贡献的参考光谱的线性加权 组合表示。
技术实现要素：
本公开文本涉及用于解混生物样本的所获取图像的数字病理学系统和方法。本文 公开的系统和方法考虑了光散射的影响，并且具体地说，考虑了在不同染色剂浓度下，光散 射改变RGB通道信号在检测到的光中的比例的方式。 如本文所指出的，组织化学染色用于增强细胞和组织样本的视觉对比并突出细胞 内存在的特异性抗原。这通常是通过将吸收染料嵌入样本材料中来实现的。为了突出样本 中的多个特异性细胞和组织结构，部署了具有不同光谱吸收特性的多个染色剂(即多重)。 不幸的是，一些最常用的染料(诸如3,3'-二氨基联苯胺(DAB))被广泛吸收。这在试图解释 通过各个染色剂的对比提供的诊断信息时提出了挑战。因此，非常期望从多重样本中重构 单一染色剂对比。 在不希望受任何特定理论束缚的情况下，据信，比尔-朗伯方程(Beer-Lambert  equation)假定染色剂浓度较小并且吸收分子之间没有相互作用。换句话说，假设了RGB通 道中的每个通道的吸收因子是影响消光的唯一因素，所述唯一因素与染色剂浓度无关。但 是，由于DAB在样本加工期间有沉淀物形成反应，因此该假设不那么适用于DAB。除吸收外， 4 CN 111602172 A 说　明　书 2/25 页 散射还有助于消光过程，所述消光过程产生了光学密度值与染色剂量之间的非线性关系。 鉴于此，据信，DAB在不同浓度下呈现出不同的色度性质。 因此，申请人开发了一种选择浓度依赖性染色剂的最佳颜色参考向量以用于解混 所获取的多光谱图像数据的方法，其中，浓度依赖性染色剂的最佳颜色参考向量选自浓度 依赖性染色剂的一组颜色参考向量，一组颜色参考向量中的每个颜色参考向量描述或表征 不同浓度水平(例如1X、2X、4X、8X等)的浓度依赖性染色剂。在这方面，申请人开发了一种自 动选择用于解混的颜色系统的方法，所述方法考虑了浓度依赖性染色剂在生物样本中的浓 度对其对检测到的光中RGB通道中的每个通道的贡献的影响。这样，本文所描述的系统和方 法允许选择最佳地表征生物样本中浓度依赖性染色剂的浓度水平的颜色参考向量。申请人 已经表明，与不考虑生物样本中染色剂的浓度的其他解混方法相比，利用当前描述的系统 和方法进行解混提供了更准确的浓度依赖性染色剂强度。 因此，本公开文本的一方面是一种将生物样品的图像解混的方法，其包括：(a)获 取用至少第一染色剂和第二染色剂染色的所述生物样品的图像，其中所述第一染色剂和所 述第二染色剂中的至少一个是浓度依赖性染色剂；(b)从获取的图像中的像素强度值导出 RGB颜色空间中的每个通道的总光学密度值；(c)获得所述第一染色剂和所述第二染色剂中 的每一个的一系列颜色参考向量，其中，对于任何浓度依赖性染色剂，获得多个浓度参考向 量，所述一组所述多个浓度依赖性染色剂颜色参考向量中的各个浓度依赖性染色剂颜色参 考向量表征不同浓度水平的所述浓度依赖性染色剂；(d)从第一染色剂颜色参考向量和第 二染色剂颜色参考向量导出一系列候选颜色系统，其中，每个候选颜色系统包括第一染色 剂颜色参考向量和第二染色剂颜色参考向量，并且其中，每个候选颜色系统包括来自一系 列获得的颜色参考向量的不同配对的第一染色剂颜色参考向量和第二染色剂颜色参考向 量；(e)从所述一系列候选颜色系统中选择最佳颜色系统，所述最佳颜色系统是通过(i)计 算每个候选颜色空间的重构误差和(ii)确定具有最小重构误差的候选颜色空间来选择的； 以及(f)使用选择的最佳颜色系统将所述获取的图像解混。在一些实施方案中，每个候选颜 色系统是不同的，其中，每个候选颜色系统包括浓度依赖性染色剂的不同颜色参考向量。 在一些实施方案中，所述第一染色剂是浓度依赖性染色剂(例如，DAB)，并且所述 第二染色剂是非浓度依赖性染色剂(例如，苏木精)。在一些实施方案中，每个候选颜色系统 包括浓度依赖性染色剂的预期颜色参考向量和非浓度依赖性染色剂的颜色参考向量。在一 些实施方案中，所述第一染色剂是DAB。在一些实施方案中，所述第一染色剂是DAB，并且所 述第二染色剂是苏木精。 在一些实施方案中，所述生物样本被两种染色剂染色。在一些实施方案中，所述生 物样本被多于两种染色剂染色，并且所述获取的图像(或接收的图像数据)表示整个生物样 本的一部分或所述生物样本的较大图像的一部分，所述获取的图像仅具有两种染色剂。 本公开文本的另一方面是一种将生物样品的图像解混的方法，其包括：获取用第 一染色剂和第二染色剂染色的所述生物样品的图像，其中，至少所述第一染色剂是浓度依 赖性染色剂；从获取的图像中的像素强度值导出RGB颜色空间中的每个通道的总光学密度 值；获得多个预期第一染色剂颜色参考向量，所述多个预期第一染色剂颜色参考向量中的 每个预期第一染色剂颜色参考向量表征不同浓度的所述第一染色剂；获得至少一个第二染 色剂颜色参考向量；从所述第一染色剂颜色参考向量和所述第二染色剂颜色参考向量导出 5 CN 111602172 A 说　明　书 3/25 页 一系列候选颜色系统，每个候选颜色系统包括来自所述多个预期第一染色剂颜色参考向量 的所述预期第一染色剂颜色参考向量中的一个和所述至少一个(1)第二染色剂颜色参考向 量；从所述一系列候选颜色系统中选择最佳颜色系统，所述最佳颜色系统是通过(i)计算每 个候选颜色空间的重构误差和(ii)确定具有最小重构误差的候选颜色空间来选择的；以及 使用选择的最佳颜色系统将所述获取的图像解混。 在一些实施方案中，所述重构误差是通过计算(a)RGB颜色空间中的所述通道中的 第一通道的导出的总光学密度值与(b)所述第一通道(例如，蓝色通道)的重构的总光学密 度之间的绝对差来确定的(例如，参见本文的方程(4))。在一些实施方案中，所述第一通道 的所述重构的总光学密度是通过对以下项进行求和来计算的：(i)所述生物样本中存在的 所述第二染色剂的导出量与所述一系列候选颜色空间中的所述候选颜色系统中的一个的 所述第一通道的光学密度值的乘积；以及(ii)所述生物样本中存在的所述第一染色剂的导 出量与同一候选颜色系统中第一染色剂的所述第一通道的光学密度值的乘积(例如，参见 本文的方程(3))。在一些实施方案中，所述第一染色剂和所述第二染色剂的所述导出量是 通过将所述RBG颜色空间中的第二通道和第三通道(例如，绿色通道和红色通道)的导出的 总光学密度的向量乘以候选重构矩阵的倒数来计算的，所述候选重构矩阵包括：(i)具有与 所述候选颜色系统的所述第一染色剂的所述第二通道和所述第三通道相对应的光学密度 值的第一光学密度向量；以及(ii)具有与所述候选颜色系统的所述第二染色剂的所述第二 通道和所述第三通道相对应的光学密度值的第二光学密度向量(例如，参见本文的方程 (2))。 在一些实施方案中，所述第一染色剂是DAB。在一些实施方案中，所述第二染色剂 是在标准免疫组织化学实践中使用的任何染料。在一些实施方案中，所述第二染色剂是在 标准免疫组织化学实践中使用的任何非浓度依赖性染料。在一些实施方案中，所述第二染 色剂选自苏木精、曙红、固红或甲基绿。在一些实施方案中，所述第一染色剂和所述第二染 色剂均为浓度依赖性染色剂，并且所述至少一个第二染色剂颜色参考向量是第二浓度依赖 性染色剂的一组预期颜色参考向量。在一些实施方案中，RGB颜色空间中的所述通道中的所 述第一通道是蓝色通道或绿色通道。在一些实施方案中，所述生物样本被多于三种染色剂 染色，并且其中，所述获取的图像是从更大的图像导出的感兴趣区域，所述感兴趣区域仅包 括所述第一染色剂和所述第二染色剂。在一些实施方案中，所述生物样本被多于两种染色 剂染色，并且其中，所述获取的图像是较大图像的一部分，所述图像部分包括与仅两种共同 定位的染色剂相对应的信号，所述两种共同定位的染色剂中的至少一种是浓度依赖性染色 剂。 本公开文本的另一方面是一种将生物样品的图像解混的方法，其包括：获取用第 一染色剂和第二染色剂染色的所述生物样品的图像，其中，所述第一染色剂和所述第二染 色剂均为浓度依赖性染色剂(例如，DAB)；从获取的图像中的像素强度值导出RGB颜色空间 中的每个通道的总光学密度值；从光谱参考数据库中获得多个预期第一染色剂颜色参考向 量，所述多个预期第一染色剂颜色参考向量中的每个预期第一染色剂颜色参考向量表征不 同浓度的所述第一染色剂；从所述光谱参考数据库中获得多个预期第二染色剂颜色参考向 量，所述多个预期第二染色剂颜色参考向量中的每个预期第二染色剂颜色参考向量标准不 同浓度的所述第二染色剂；从所述第一染色剂颜色参考向量和所述第二染色剂颜色参考向 6 CN 111602172 A 说　明　书 4/25 页 量导出一系列候选颜色系统，每个候选颜色系统包括来自所述多个预期第一染色剂颜色参 考向量的所述预期第一染色剂颜色参考向量中的一个和来自所述多个第二染色剂颜色参 考向量的所述预期第二染色剂颜色参考向量中的一个；从所述一系列候选颜色系统中选择 最佳颜色系统，所述最佳颜色系统是通过(i)计算每个候选颜色空间的重构误差和(ii)确 定具有最小重构误差的候选颜色空间来选择的；以及使用选择的最佳颜色系统将所述获取 的图像解混。 本公开文本的另一方面是一种将生物样品的图像解混的方法，其包括：获取用DAB 和苏木精(HEM)染色的所述生物样品的图像；从获取的图像中的像素强度值导出RGB颜色空 间中的每个通道的总光学密度值；获得多个预期DAB颜色参考向量，所述多个预期DAB颜色 参考向量中的每个预期DAB颜色参考向量表征不同浓度的DAB；获得HEM颜色参考向量；从所 述DAB颜色参考向量和所述HEM颜色参考向量导出一系列候选颜色系统，每个候选颜色系统 包括来自所述多个预期DAB颜色参考向量的所述预期DAB颜色参考向量中的一个和所述HEM 颜色参考向量；从所述一系列候选颜色系统中选择最佳地表示生物样本中的真实DAB浓度 水平的最佳颜色系统，所述最佳颜色系统是通过(i)计算每个候选颜色空间的重构误差和 (ii)确定具有最小重构误差的候选颜色空间来选择的；以及使用选择的最佳颜色系统将所 述获取的图像解混。 本公开文本的另一方面是一种用于将被至少两种染色剂染色的生物样品的图像 解混的成像系统，所述成像系统包括：(i)图像获取装置；(ii)一个或多个处理器；以及 (iii)耦合到处理器的存储器，所述存储器用于存储计算机可执行指令，所述计算机可执行 指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作： 获取所述生物样本的具有与第一染色剂和第二染色剂相对应的信号的图像，其中至少所述 第一染色剂是浓度依赖性染色剂；来自获取的图像中的像素强度值的RGB颜色空间中的每 个通道的总光学密度值；从光谱参考数据库中获得一组预期第一染色剂颜色参考向量，所 述一组预期第一染色剂颜色参考向量中的每个颜色参考向量表征不同浓度下的所述第一 染色剂；从所述光谱参考数据库中获得至少一个第二染色剂颜色参考向量；从所述第一染 色剂颜色参考向量和所述第二染色剂颜色参考向量导出一系列候选颜色系统，每个候选颜 色系统包括来自所述多个预期第一染色剂颜色参考向量的所述预期第一染色剂颜色参考 向量中的一个和所述至少一个第二染色剂颜色参考向量；来自所述一系列候选颜色系统的 最佳颜色系统，所述最佳颜色系统是通过(i)计算每个候选颜色空间的重构误差和(ii)确 定具有最小重构误差的候选颜色空间来选择的；以及使用选择的最佳颜色系统将所述获取 的图像中的所述信号解混。在一些实施方案中，所述成像设备是多光谱成像设备。在一些实 施方案中，所述第一染色剂是DAB。在一些实施方案中，所述第二染色剂是苏木精。在一些实 施方案中，所述第一染色剂是DAB，并且所述第二染色剂是苏木精。 在一些实施方案中，所述重构误差是通过计算(a)RGB颜色空间中的所述通道中的 第一通道的导出的总光学密度值与(b)所述第一通道的重构的总光学密度之间的绝对差来 确定的。在一些实施方案中，所述第一通道的所述重构的总光学密度是通过对以下项进行 求和来计算的：(i)所述生物样本中存在的所述第二染色剂的导出量与所述一系列候选颜 色空间中的候选颜色系统中的一个候选颜色系统的第一通道光学密度值的乘积；以及(ii) 所述生物样本中存在的所述第一染色剂的导出量与第一染色剂在同一候选颜色系统中的 7 CN 111602172 A 说　明　书 5/25 页 第一通道光学密度值的乘积。在一些实施方案中，所述第一染色剂和所述第二染色剂的所 述导出量是通过将所述RBG颜色空间中的第二通道和第三通道的导出的总光学密度的向量 乘以候选重构矩阵的倒数来计算的，所述候选重构矩阵包括：(i)具有与所述候选颜色系统 的所述第一染色剂的所述第二通道和所述第三通道相对应的光学密度值的第一光学密度 向量；以及(ii)具有与所述候选颜色系统的所述第二染色剂的所述第二通道和所述第三通 道相对应的光学密度值的第二光学密度向量。 在一些实施方案中，所述获得所述一组预期第一染色剂颜色参考向量包括通过分 析来自一系列对照载玻片的图像数据来导出所述第一染色剂的多个颜色参考向量，其中， 每个对照载玻片具有不同染色剂浓度。 本公开文本的另一方面是一种用于存储计算机可执行指令的非暂态计算机可读 介质，所述计算机可执行指令由处理器执行以执行包括以下项的操作：从具有第一染色剂 和第二染色剂的图像或图像的一部分中的像素强度值导出RGB颜色空间中的每个通道的总 光写密度值，其中，所述第一染色剂是浓度依赖性染色剂并且所述第二染色剂是非浓度依 赖性染色剂；获得多个预期第一染色剂颜色参考向量，所述多个预期第一染色剂颜色参考 向量中的每个预期第一染色剂颜色参考向量表征不同浓度的所述第一染色剂；获得第二染 色剂颜色参考向量；从所述第一染色剂颜色参考向量和所述第二染色剂颜色参考向量导出 一系列候选颜色系统，每个候选颜色系统包括来自所述多个预期第一染色剂颜色参考向量 的所述预期第一染色剂颜色参考向量中的一个和所述第二染色剂颜色参考向量；从所述一 系列候选颜色系统中选择最佳颜色系统，所述最佳颜色系统是通过(i)计算每个候选颜色 空间的重构误差和(ii)确定具有最小重构误差的候选颜色空间来选择的；以及使用选择的 最佳颜色系统将所述获取的图像解混。 在一些实施方案中，所述重构误差是通过计算(a)RGB颜色空间中的所述通道中的 第一通道(例如，蓝色通道)的导出的总光学密度值与(b)所述第一通道(例如，所述蓝色通 道)的重构的总光学密度之间的绝对差来确定的。在一些实施方案中，所述第一通道(例如， 所述蓝色通道)的所述重构的总光学密度是通过对以下项进行求和来计算的：(i)所述生物 样本中存在的所述第二染色剂的导出量与所述一系列候选颜色空间中的候选颜色系统中 的一个候选颜色系统的第一通道光学密度值(例如，蓝色通道光学密度值)的乘积；以及 (ii)所述生物样本中存在的所述第一染色剂的导出量与第一染色剂在同一候选颜色系统 中的第一通道光学密度值(例如，蓝色通道光学密度值)的乘积。在一些实施方案中，所述第 一染色剂和所述第二染色剂的所述导出量是通过将所述RBG颜色空间中的第二通道和第三 通道的导出的总光学密度的向量乘以候选重构矩阵的倒数来计算的，所述候选重构矩阵包 括：(i)具有与所述候选颜色系统的所述第一染色剂的所述第二通道和所述第三通道相对 应的光学密度值的第一光学密度向量；以及(ii)具有与所述候选颜色系统的所述第二染色 剂的所述第二通道和所述第三通道相对应的光学密度值的第二光学密度向量。 附图说明 本专利或申请文件包含至少一个彩色附图。应请求并且支付必要的费用后，具有 彩色附图的本专利或专利申请公开的副本将由专利局提供。 为了大致理解本公开文本的特征，参考了附图。在附图中，始终使用相同的附图标 8 CN 111602172 A 说　明　书 6/25 页 记来标识相同的要素。 图1展示了包括图像获取装置和计算机系统的代表性数字病理学系统。 图2阐述了可以在数字病理学系统中或数字病理学工作流内使用的各种模块。 图3提供了对用于将图像解混的步骤的概述。 图4提供了对用于分离图像的步骤的概述。 图5阐述了展示选择输入图像内的感兴趣区域的步骤的流程图。 图6A提供了展示选择用于解混的最佳颜色系统的步骤的流程图。 图6B提供了展示导出每个候选颜色系统的重构误差的步骤的流程图。 图7展示了在各个浓度下对DAB的消光。 图8展示了使用不同浓度的DAB制备的五张载玻片，其中，(a)1X、(b)5X、(c)15X、 (d)20X、(e)25X，其是相对于OptiView(Ventana  Medical  Systems，Inc.)载玻片上浓度约 为1.9mM  DAB的。 图9A-9E展示了每个RGB通道的归一化OD值与总OD的关系。红色、绿色和蓝色的点 分别用于表示RGB通道。每个点对应于载玻片中的一个1000×1000FOV。离群点是由于载玻 片中可以忽略的伪影(例如，气泡)。 图10A-10F展示了每个RGB通道的归一化OD值与使用抗波形蛋白IHC方案加工的载 玻片的总OD值的关系。红色、绿色和蓝色的点分别用于表示RGB通道。从覆盖组织的1000× 1000个FOV中的每一个中随机选择样本。 图11阐述了利用当前公开的方法与先前方法相比进行解混的结果的视觉比较。 图12展示了保持12个肿瘤细胞系的两个载玻片的缩略图。 图13阐述了每种细胞系的平均DAB强度与基因拷贝数的对数的关系。