技术摘要：
基于量子神经网络的人体行为识别方法，1：采集人体动作图像，并对每一帧图像灰度化；2：采用人体动作图像存储在量子态中形成NEQR量子图像；3：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；4：使用Hadamard门边缘检测算法  全部
背景技术：
人体行为的识别研究的主要任务是对原始图像序列进行处理和分析，学习和理解 人类的行为。其综合地利用计算机视觉、图像图形学、模式识别与人工智能等诸多方面的知 识和技术，从连续视频序列中提取出人体运动目标，同时对提取出的运动目标进行连续地 识别和跟踪，并对人的行为进行理解和描述，其最终目的是识别出人体的行为。量子计算是 目前最为成熟，并被普遍认为最有可能替代经典计算的新型计算模型。在近三十年的发展 研究中，人们通过对量子叠加态，量子纠缠态以及量子相干性等特性的深入研究，发现量子 计算具有高效存储，并行计算和不确定计算等能力。利用量子计算模型设计的高效量子算 法对信息处理领域中难解的问题均取得了惊人的性能提升，这也成功地印证了量子计算是 可以突破经典计算极限的可行的新型计算模型。计算机视觉与量子计算结合将是未来的一 个研究领域。 目前的很多识别方法中存在处理不灵活、不能充分利用量子的并行计算能力且识 别的准确性不好的问题。
技术实现要素：
发明目的： 本发明提供一种基于量子神经网络的人体行为识别方法，其目的是解决以往所存 在的问题。 技术方案： 基于量子神经网络的人体行为识别方法，其特征在于： 第一步：采集人体动作图像，并对每一帧图像灰度化； Gray(Y,X)＝0.299*R(Y,X) 0.587*G(Y,X) 0.114*B(Y,X)    (1) 在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是 (Y,X)位置的三种颜色值，*代表着乘号； 第二步：采用NEQR模型将第一步中灰度化之后的人体动作图像存储在量子态中形 成NEQR量子图像； 第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别 检测静态目标和运动目标； 第四步：使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作 的边缘信息，形成边缘量子图像； 第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取 动作的特征点，制作识别样本集； 第六步：读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行 9 CN 111582210 A 说　明　书 2/16 页 识别。 第二步中：NEQR模型中训练过程如下： 第一步：是使用摄像头采集历史人体动作图像，并对每一帧图像灰度化； Gray(Y,X)＝0.299*R(Y,X) 0.587*G(Y,X) 0.114*B(Y,X)    (1) 在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是 (Y,X)位置的三种颜色值，*代表着乘号； 第二步：采用NEQR模型，将第一步中灰度化之后的人体动作图像存储在量子态中 形成NEQR量子图像； 第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别 检测静态目标和运动目标； 第四步：是使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动 作的边缘信息； 第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取 动作的特征点，制作训练样本集； 第六步：使用提出的改进型量子BP神经网络对样本集进行训练，保存各层之间的 权值完成训练。 第二步中： NEQR分别利用两个量子位二进制串来分别存储图像像素的位置信息和灰度信息， 并同时将两者纠缠叠加起来，从而同时将图像所有像素存储下来。 采用NEQR模型存储动作图像中：一幅人体动作图像的灰度范围为[0,2q-1]，用二 进制串 编码(Y,X)位置灰度值f(Y,X)； 对于一幅2n×2n人体动作图像，NEQR表达式用式(3)表示： 其中 是量子基态|0>或|1>，q是量子的个数； 是用量子态下的灰 度值与量子态下的(Y,X)位置信息进行张量积； 对所有 求和；位置Y∈ [0,2n-1]，2n是摄像头采集的图像的高度；位置X∈[0,2n-1]，2n是摄像头采集的图像的宽 度； X)>是二进制串的缩写形式，i表示第i个量子基态，q是量子的个数。 第三步中： 量子图像前景检测，针对NEQR量子图像，采用背景差分法检测静态目标，ViBe标检 测运动目标； a.背景差分法： (1)、一幅NEQR量子图像的大小均为2n×2n，且灰度值范围为[0,2q-1]；|IB>为背景 量子图像，|IK>是第k帧的量子图像；两幅图像的表达式用式(4)表示： 10 CN 111582210 A 说　明　书 3/16 页 其中 其中|BYX>|YX>和|KYX>|YX>是量子态下的灰度值与 (Y,X)位置信息进行张量积； 对所有张量积求和；位置Y∈[0,2n-1]，2n是摄像头采集的 图像的高度；位置X∈[0,2n-1]，2n是摄像头采集的图像的宽度； 是 二进制串的缩写形式，表示q个量子基态张量积，i表示第i个量子基态，q是量子的个数； (2)、前景区域量子图像|ID>用式(5)表示： 式(5)由量子减法器操作实现，其中|DYX>|YX>是量子态下的灰度值与(Y,X)位置信 息进行张量积；DYX是第k帧KYX与背景BYX的差值， 对所有张量积求和，22n是摄像头采集的 图像的大小； (3)、接着对量子图像|ID>进行二值化处理，设定阈值T∈[0,2q-1]；用阈值T作为灰 度值构建一副新的NEQR图像|IT>，q是量子的个数； (4)、初始化一副空白量子图像为|If>，用式(6)表示： 其中 表示q个量子基态|0>张量积，i表示第i个量子基态|0>； (5)、对|ID>和|IT>进行减法操作，根据差值来确定|fYX>； 其中TYX表示阈值量子图像|IT>在(Y,X)位置的灰度值为TXY。 (6)、最后得到的|If>是二值化的人体动作图像；其中 表示为白色， 表示为 黑色； 是q个量子基态|1>张量积， 是q个量子基态|0>张量积； b.ViBe算法： (1)、初始化N组随机NEQR量子图像 其中 {|Iξ>0,|Iξ>1,...,|Iξ>N-1}作为背景模型的N个样本集；初始化一副空白量子图像| 11 CN 111582210 A 说　明　书 4/16 页 If>用于保存前景区域，表达式用式(6)表示； (2)、定义： 表示当前帧的图像与背景图像做差时 ，在 (Y ,X ) 位置计算N组中符合 条件差值的个数为Nb；假设|IK>是第k帧的量子图像，R是取值半径；若Nb大 于一个阈值Nmin，代表着当前(Y,X)位置的像素值与该位置历史样本中的多个值相似，那么 认为(Y,X)位置就是背景点；反之为前景点； 表示N组背景模型中第i个量子图像在(Y,X) 位置的灰度值。 (3)、使用一种灰度变换操作UG，其将对图像的(Y,X)位置像素进行变换操作； 其过程使用两种常用的量子门和一个辅助量子位来构建量子与门∩和量子或门 ∪；|a′>表示这些辅助量子位在完成操作之后的状态； 表示第k帧量子图像在(Y,X) 位置的灰度值； 是N个样本中随机抽取第i幅样本图像(Y,X)位置的灰度值； 表示量子图像在(Y,X)位置的灰度值第l量子位于辅助量子位a进行量子与门计算。 (4)、当Nb≥Nmin时，从N个样本中随机抽取第i幅样本图像，对(Y,X)位置的像素值 进行更新； 其中 表示量子图像在(Y,X)位置的灰度值第l量子位；|CVW>|VW>表示在(V,W)位 置的灰度值CVW与VW的张量积，但VW≠YX。 (5)、当Nb＜Nmin时，量子图像|If>在(Y,X)位置的像素值 最后得到的|If> 是二值化的人体动作图像；其中 表示为白色， 表示为黑色；其中 是q个量子基态 |1>张量积， 是q个量子基态|0>张量积，i表示第i个量子基态。 第五步：设计一种基于量子黑盒的卷积法提取图像特征，使用h×w大小的卷积核 对整幅量子图像进行卷积操作： 首先对整幅量子图像进行平移操作，针对NEQR量子图像模型进行平移变换，实现 某位置像素对邻域像素的访问； 像素f(Y,X)变换成为像素f(Y,X 1)是对图像进行一个向右的单位平移操作；整个 量子图像平移操作过程由两个变换U(x±)和U(y±)完成，U(x±)操作是将整幅图像沿X轴方向平 移，U(y±)操作是将整幅图像沿Y轴方向平移； 12 CN 111582210 A 说　明　书 5/16 页 平移操作具体为： 输入：原图像Ixy，定义为 Step  1.Ux-将图像Ixy向左平移一个单位 Step  2.Uy-将图像Ix 1y向上平移一个单位 Step  3.Ux 将图像Ix 1y 1向右平移一个单位 Step  4.Ux 将图像Ixy 1向右平移一个单位 Step  5.Uy 将图像Ix-1y 1向下平移一个单位 Step  6.Uy 将图像Ix-1y向下平移一个单位 Step  7.Ux-将图像Ix-1y-1向左平移一个单位 Step  8.Ux-将图像Ixy-1向左平移一个单位 Step  9.Uy-Ux 将图像Ix 1y-1平移到原位置 使用一个量子黑盒UΩ操作对所有的像素位置上可以访问的邻域信息进行计算； 13 CN 111582210 A 说　明　书 6/16 页 |Ω(Y,X)>＝|Sum/256>    (17) 因此窗口内像素求和处理后的值保存在q个量子位的|Ω(Y,X)>中；量子黑盒中q ＝8，那么共需要2n 17个量子位完成整个操作过程；其中存储整幅图像耗费2n 8个量子位， 剩余9个是辅助量子位；其中 表示(Y ,X 1)、(Y 1,X 1)、(Y 1,X)、(Y 1,X-1)、(Y,X-1)、(Y-1,X-1)、(Y-1,X)、(Y-1,X 1)8个位置像素 值的张量积；mod2n是模2运算。 基于量子黑盒的卷积法中：对量子图像进行一次卷积操作过程，使用量子测量提 取(Y,X)位置Ω(Y,X)，利用式(18)提取出F(J,I)；对所有像素计算得到特征值P(J,I)，其过 程如下： 其中T是阈值，J是卷积后图像的高度，I是卷积后图像的宽度；w、h分别表示卷积窗 口宽、高；n表示图像像素。 第六步中：量子BP神经网络的量子神经元模型输入全部用量子位|0>表示，经过受 控非门翻转，量子旋转门移相，聚合后得到输出；输出用量子位|1>的概率幅表示；输入层与 隐层之间的权值wij；激活函数是f(·)；yj是第j个神经元的输出；输入输出关系用式(20)表 示： 其中i代表输入序号，j代表神经元序号，θ0是量子位|0>初始相位，θi是第i个输入 改变的相位；wij表示第i个输入对应第j个神经元的权值。 三层QBP网络模型输入层有n个量子神经元，隐层和输出层分别有p、m个普通神经 元；量子旋转门R(θi)改变第i个输入层量子位|0>的相位，hj代表隐层第j个神经元输出，yk 为输出层第k个神经元的输出值，vij为输入层与隐层之间的连接权值；wjk为隐层与输出层 14 CN 111582210 A 说　明　书 7/16 页 之间的连接权值；各层输入输出关系如下： 其中i＝1,2,…,n，j＝1,2,…,p，k＝1,2,…,m。 第六步中：所述量子BP神经网络中： (1)、样本的量子旋转门描述： 令n个训练样本集或识别样本集(就是训练的时候用训练样本集，识别的时候用识 别样本集)为θ＝(θ1,θ2,…,θn)，训练样本或识别样本的量子旋转门描述用式(23)表示： R(θ)＝[R(θ1) ,R(θ2) ,…,R(θn)]    (23) (2)、更新网络参数： 定义误差函数用式(24)表示： 其中m表示输出神经元的个数；dk表示第k个神经元期望值；yk表示第k个神经元实 际输出值。 误差E用隐层表示用式(25)表示： 误差E用输入层表示用式(26)表示： 令 对各层之间的权值求导： 权值更新过程如下： wjk(t 1)＝wjk(t) ηΔwjk    (29) vij(t 1)＝vij(t) ηΔvij    (30) 其中t代表某个时间，t 1代表下一个时间。 15 CN 111582210 A 说　明　书 8/16 页 基于量子神经网络的人体行为识别系统，所述系统包括图像灰度化模块、NEQR量 子图像形成模块、量子图像前景检测模块、人体动作的边缘信息提取模块、动作的特征点提 取模块和识别模块； 图像灰度化模块采集人体动作图像，并对每一帧图像灰度化； NEQR量子图像形成模块采用NEQR模型将图像灰度化模块中灰度化之后的人体动 作图像存储在量子态中形成NEQR量子图像； 量子图像前景检测模块针对NEQR量子图像采用背景差分法和ViBe算法分别检测 静态目标和运动目标； 人体动作的边缘信息提取模块使用Hadamard门边缘检测算法提取出人体动作的 边缘信息； 动作的特征点提取模块基于量子黑盒的卷积法对整幅量子图像进行卷积操作来 提取动作的特征点，制作识别样本集； 识别模块读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行 识别。 优点效果： 本发明方案通过量子神经网络完成视频中人体行为进行分类，在量子计算机上完 成人体行为识别。整个方案包含三个部分，分别为量子图像存储，量子图像处理和量子图像 分类。总体识别流程如图1所示。 本发明解决其技术问题所采用的技术方案：第一部分是使用摄像头采集人体动作 图像，并对每一帧图像灰度化处理；第二部分是采用NEQR模型将人体动作图像存储在量子 态中，为量子计算机对图像进行处理提供理论基础；第三部分是量子态下的背景差分法和 ViBe运动目标检测算法；第四部分是使用Hadamard门边缘检测算法提取出人体动作的边缘 信息；第五部分是设计一个基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动 作的特征点；第六部分是量子BP神经网络完成训练和识别过程。 本发明是在量子计算机上实现人体行为识别。 本方案具有以下几点优势：1)用NEQR量子模型存储视频的每一帧图像，使得量子 图像处理更加灵活；2)人体行为识别引入量子处理，充分利用量子的并行计算能力；3)量子 神经网络提高人体行为识别的准确性。 附图说明 下面结合附图和实施例对本发明方案进一步说明。 图1  NEQR图像构建过程 图2卷积模板提取图像特征 图3  3×3像素邻域窗口 图4黑盒操作UΩ 图5量子神经元模型 图6量子BP神经网络模型 图7训练和识别流程图。 16 CN 111582210 A 说　明　书 9/16 页