技术摘要：
一种基于多尺度视频的心率检测方法，包括以下步骤：步骤1，建立视频金字塔：在原始跟踪框的基础上，向下缩小感兴趣区域ROI的尺寸大小，向上扩大感兴趣区域的尺寸大小；步骤2，血容量脉搏BVP信号提取：血容量脉搏信号需要从多尺度通道中提取，多尺度信号融合算法是对皮 全部
背景技术：
近年来，基于光学和生理学原理的远程光体积描记法(rPPG)得到了快速发展，它 是一种非接触方式测量血容量脉搏(BVP)和心率的技术，可应用范围极广。在可见光下，远 程光体积描记术采用消费者级数码相机，便可以测得心率，扩大了脉搏测量的应用范围。面 部感兴趣区域(ROI)的选择是系统的一个关键问题，感兴趣区域的位置选择直接影响测量 信号的质量。现有的研究表明，面部的脸颊、嘴唇和下巴区域中含有更丰富的毛细血管，具 有比其他区域更好的脉搏信号强度。然而，脉动强度较高的区域不一定适合远程光体积描 记法的原始信号提取，因为这些区域可能会受到眨眼、说话、微笑等非刚性运动的干扰。现 有的视频心率检测方法都是基于单个感兴趣区域提取心率信号，然而单个感兴趣区域的心 率信号特征总是有限的。
技术实现要素：
为了克服现有技术的不足，本发明提出了一种基于多尺度视频的心率检测方法， 该方法的基本思想是通过改变频率来提取视频中不同尺度上的心率信号特征，并将这些特 征融合起来以便提高心率检测精度。 本发明使用的技术方案： 一种基于多尺度视频的心率检测方法，所述方法包括以下步骤： 步骤1，建立视频金字塔 在原始跟踪框的基础上，一方面，向下缩小感兴趣区域ROI的尺寸大小，另一方面， 向上扩大感兴趣区域ROI的尺寸大小； 步骤2，血容量脉搏BVP信号提取 血容量脉搏信号需要从多尺度通道中提取，多尺度信号融合算法是对皮肤色调正 交平面法POS的推广和优化，当金字塔的尺度特征在只有一层的情况下，所提出的心率提取 方法便是POS； 步骤3，多尺度信号融合 多个尺度通道的心率信号特征，采用高斯先验的凸组合进行信号融合，多个尺度 的融合信号再经过信号处理最终得到心率值。 进一步，所述步骤1中，建立视频金字塔的关键是多尺度的面部感兴趣区域，设 ωl、hl为第l级面部感兴趣区域ROI的宽度和高度，多尺度面部ROI定义如下： 4 CN 111597891 A 说 明 书 2/5 页 金字塔的层级数l＝-1，0，1…，其中ω0、h0为第0层感兴趣区域ROI的宽度和高度， 不同尺度的面部ROI共享同一中心点(Cx，Cy)，将第0层的ROI定义为紧紧围绕人脸轮廓的边 界框，可以通过常用的人脸检测器和跟踪器获得；为了构建多尺度的面部ROI，一方面，将初 始ROI尺寸逐级减半，即l＝1，2，3…这些ROI覆盖皮肤区域，并不涉及背景像素；由于这些感 兴趣区域涵盖了面部不同的区域，相应地也就有了不同的颜色变化；另一方面，将初始ROI 的尺寸放大，即令l＝-1，目的是在应用信号提取算法时，将视频中运动背景的像素灰度考 虑在内； 将面部多尺度ROI中的像素点通过空间平均转换为原始的rPPG轨迹，由下式计算: 式中金字塔的层级数l＝-1，0，1…，其中Ic(x，y，t)表示第t帧的坐标为(x，y)的像 素灰度，c∈{R,G,B}表示颜色通道，Rl(t)表示第l层第t帧的感兴趣区域ROI，Area(Rl(t))表 示为Rl(t)内的像素总数。视频每一帧的ROI跟踪框由人脸跟踪器决定，原始的rPPG轨迹是 通过将平均像素灰度Il，C(t)连接到整个t上计算出来的，记作Il(t)。 再进一步，所述步骤2中，每一层尺度的血容量脉搏BVP信号需要从远程光体积描 记法rPPG的轨迹中分别提取，在面部多尺度ROI的帮助下，运动伪影被部分分离，过程如下： 使用皮肤色调正交平面法POS，它定义了一个与向量[1，1，1]T正交的投影平面，以 消除肤色的依赖性，为了分离BVP信号和运动伪影，将原始轨迹分别投影到这个平面上的两 个向量上，通过α-tuning进行信号处理，从而最终获得BVP信号，将POS应用到视频金字塔每 个层级的原始跟踪轨迹Il(t)上，因此，接下来的公式中暂时省略了原始跟踪Il(t)的层级数 l，而将其简单地表示为I(t)； 原始跟踪首先由时间归一化处理， In(t)＝N·I(t) (3) 其中 是一个对角矩阵，其第i条对角线给出I的第i行均值的倒数，即： Nii＝1/μ(Ii) (4) 然后将经过时间归一化的轨迹投影到由投影矩阵定义的两个向量上，Pp＝[0，1，- 1；-2，1，1]，其中每一行表示一个相互正交的投影轴，投影信号表示为： S1(t)＝InG(t)-InB(t) (5) S2(t)＝InG(t) InB(t)-2InR(t) (6) 为了分离镜反射和脉搏信号成分，S1(t)和S2(t)需要进行α-tuning处理， x(t)＝S1(t) αS2(t) (7) 其中α＝σ(S1(t))/σ(S2(t))，同时σ(·)表示标准偏差，x(t)是提取的BVP信号，也 称它为POS特征，将POS算法应用于视频金字塔的每一层级，得到了L层BVP信号，其中L表示 视频金字塔的总层数，将xl(t)表示为第l层提取的POS特征x(t)； 线性POS操作在所有运动环境和记录环境下都只能提取出有限的纯BVP信号。而在 多尺度面部ROI的帮助下，运动伪影被部分分离。 更进一步，由步骤1和步骤2中得到的每一层尺度的血容量脉搏BVP信号，需要经过 高斯先验的凸组合进行融合，过程如下： 最终的脉冲信号通过融合从多尺度轨迹中提取的候选POS特征计算得出，由于候 5 CN 111597891 A 说 明 书 3/5 页 选POS特征是假设互补的，我们将信号融合问题归结为特征组合而不是特征选择，为此，采 用凸组合： λl表示第l层级尺度的权重，并且满足层级权重和等于1的关系，即∑lλl＝1，接下 来最关键的一步是确定每个级别的权重，不同层级的POS特征具有不同的心率能量，较大的 权重应分配给那些具有较强心率能量的层级，利用高斯先验来确定权重， l＝-1，0，1，2，3...表示第l层尺度，μ0和σ0分别表示中心和标准偏差的指数水平， 高斯先验是建立在中层的脉搏强度大于低层和高层的强度的基础上的； 对于长时间的检测视频，将加窗输出串联起来，得到长时间的心率信号，给定一个 长度为N的视频，首先将序列分割成长度为T的片段，应用所提出的算法来获得窗口化的输 出，并应用重叠相加的方法以获得最终的心率输出。 本发明的有益效果为：提高心率检测精度。
一种基于多尺度视频的心率检测方法，包括以下步骤：步骤1，建立视频金字塔：在原始跟踪框的基础上，向下缩小感兴趣区域ROI的尺寸大小，向上扩大感兴趣区域的尺寸大小；步骤2，血容量脉搏BVP信号提取：血容量脉搏信号需要从多尺度通道中提取，多尺度信号融合算法是对皮 全部
背景技术：
近年来，基于光学和生理学原理的远程光体积描记法(rPPG)得到了快速发展，它 是一种非接触方式测量血容量脉搏(BVP)和心率的技术，可应用范围极广。在可见光下，远 程光体积描记术采用消费者级数码相机，便可以测得心率，扩大了脉搏测量的应用范围。面 部感兴趣区域(ROI)的选择是系统的一个关键问题，感兴趣区域的位置选择直接影响测量 信号的质量。现有的研究表明，面部的脸颊、嘴唇和下巴区域中含有更丰富的毛细血管，具 有比其他区域更好的脉搏信号强度。然而，脉动强度较高的区域不一定适合远程光体积描 记法的原始信号提取，因为这些区域可能会受到眨眼、说话、微笑等非刚性运动的干扰。现 有的视频心率检测方法都是基于单个感兴趣区域提取心率信号，然而单个感兴趣区域的心 率信号特征总是有限的。
技术实现要素：
为了克服现有技术的不足，本发明提出了一种基于多尺度视频的心率检测方法， 该方法的基本思想是通过改变频率来提取视频中不同尺度上的心率信号特征，并将这些特 征融合起来以便提高心率检测精度。 本发明使用的技术方案： 一种基于多尺度视频的心率检测方法，所述方法包括以下步骤： 步骤1，建立视频金字塔 在原始跟踪框的基础上，一方面，向下缩小感兴趣区域ROI的尺寸大小，另一方面， 向上扩大感兴趣区域ROI的尺寸大小； 步骤2，血容量脉搏BVP信号提取 血容量脉搏信号需要从多尺度通道中提取，多尺度信号融合算法是对皮肤色调正 交平面法POS的推广和优化，当金字塔的尺度特征在只有一层的情况下，所提出的心率提取 方法便是POS； 步骤3，多尺度信号融合 多个尺度通道的心率信号特征，采用高斯先验的凸组合进行信号融合，多个尺度 的融合信号再经过信号处理最终得到心率值。 进一步，所述步骤1中，建立视频金字塔的关键是多尺度的面部感兴趣区域，设 ωl、hl为第l级面部感兴趣区域ROI的宽度和高度，多尺度面部ROI定义如下： 4 CN 111597891 A 说 明 书 2/5 页 金字塔的层级数l＝-1，0，1…，其中ω0、h0为第0层感兴趣区域ROI的宽度和高度， 不同尺度的面部ROI共享同一中心点(Cx，Cy)，将第0层的ROI定义为紧紧围绕人脸轮廓的边 界框，可以通过常用的人脸检测器和跟踪器获得；为了构建多尺度的面部ROI，一方面，将初 始ROI尺寸逐级减半，即l＝1，2，3…这些ROI覆盖皮肤区域，并不涉及背景像素；由于这些感 兴趣区域涵盖了面部不同的区域，相应地也就有了不同的颜色变化；另一方面，将初始ROI 的尺寸放大，即令l＝-1，目的是在应用信号提取算法时，将视频中运动背景的像素灰度考 虑在内； 将面部多尺度ROI中的像素点通过空间平均转换为原始的rPPG轨迹，由下式计算: 式中金字塔的层级数l＝-1，0，1…，其中Ic(x，y，t)表示第t帧的坐标为(x，y)的像 素灰度，c∈{R,G,B}表示颜色通道，Rl(t)表示第l层第t帧的感兴趣区域ROI，Area(Rl(t))表 示为Rl(t)内的像素总数。视频每一帧的ROI跟踪框由人脸跟踪器决定，原始的rPPG轨迹是 通过将平均像素灰度Il，C(t)连接到整个t上计算出来的，记作Il(t)。 再进一步，所述步骤2中，每一层尺度的血容量脉搏BVP信号需要从远程光体积描 记法rPPG的轨迹中分别提取，在面部多尺度ROI的帮助下，运动伪影被部分分离，过程如下： 使用皮肤色调正交平面法POS，它定义了一个与向量[1，1，1]T正交的投影平面，以 消除肤色的依赖性，为了分离BVP信号和运动伪影，将原始轨迹分别投影到这个平面上的两 个向量上，通过α-tuning进行信号处理，从而最终获得BVP信号，将POS应用到视频金字塔每 个层级的原始跟踪轨迹Il(t)上，因此，接下来的公式中暂时省略了原始跟踪Il(t)的层级数 l，而将其简单地表示为I(t)； 原始跟踪首先由时间归一化处理， In(t)＝N·I(t) (3) 其中 是一个对角矩阵，其第i条对角线给出I的第i行均值的倒数，即： Nii＝1/μ(Ii) (4) 然后将经过时间归一化的轨迹投影到由投影矩阵定义的两个向量上，Pp＝[0，1，- 1；-2，1，1]，其中每一行表示一个相互正交的投影轴，投影信号表示为： S1(t)＝InG(t)-InB(t) (5) S2(t)＝InG(t) InB(t)-2InR(t) (6) 为了分离镜反射和脉搏信号成分，S1(t)和S2(t)需要进行α-tuning处理， x(t)＝S1(t) αS2(t) (7) 其中α＝σ(S1(t))/σ(S2(t))，同时σ(·)表示标准偏差，x(t)是提取的BVP信号，也 称它为POS特征，将POS算法应用于视频金字塔的每一层级，得到了L层BVP信号，其中L表示 视频金字塔的总层数，将xl(t)表示为第l层提取的POS特征x(t)； 线性POS操作在所有运动环境和记录环境下都只能提取出有限的纯BVP信号。而在 多尺度面部ROI的帮助下，运动伪影被部分分离。 更进一步，由步骤1和步骤2中得到的每一层尺度的血容量脉搏BVP信号，需要经过 高斯先验的凸组合进行融合，过程如下： 最终的脉冲信号通过融合从多尺度轨迹中提取的候选POS特征计算得出，由于候 5 CN 111597891 A 说 明 书 3/5 页 选POS特征是假设互补的，我们将信号融合问题归结为特征组合而不是特征选择，为此，采 用凸组合： λl表示第l层级尺度的权重，并且满足层级权重和等于1的关系，即∑lλl＝1，接下 来最关键的一步是确定每个级别的权重，不同层级的POS特征具有不同的心率能量，较大的 权重应分配给那些具有较强心率能量的层级，利用高斯先验来确定权重， l＝-1，0，1，2，3...表示第l层尺度，μ0和σ0分别表示中心和标准偏差的指数水平， 高斯先验是建立在中层的脉搏强度大于低层和高层的强度的基础上的； 对于长时间的检测视频，将加窗输出串联起来，得到长时间的心率信号，给定一个 长度为N的视频，首先将序列分割成长度为T的片段，应用所提出的算法来获得窗口化的输 出，并应用重叠相加的方法以获得最终的心率输出。 本发明的有益效果为：提高心率检测精度。
