logo好方法网

多面部表情捕捉方法、装置、电子设备及计算机存储介质


技术摘要:
本公开实施例提供了一种多面部表情捕捉方法、装置、电子设备及计算机存储介质。其中,多面部通过多个图像获取装置捕捉;多个图像获取装置的图像捕捉范围为覆盖多面部活动的范围;该多面部表情捕捉方法可以包括:获取多面部的多幅图像;基于多面部活动的范围,对多幅图  全部
背景技术:
目前,在捕捉面部表情时,现有技术通常通过头戴式面部捕捉设备来实现。 随着实时互动虚拟角色的表演形式的普及,上述现有面部表情捕捉技术在对多个 近距离的面部捕捉时,由于人体的肢体动作会造成多个头戴式面部捕捉设备上的摄像头相 撞,或者人体的肢体相碰撞,从而影响到人体动作的执行。 因此,提供一种在对多个近距离的面部进行表情捕捉时而不影响人体肢体动作执 行的方法是亟待解决的技术问题。
技术实现要素:
本公开实施例的主要目的在于提供一种多面部表情捕捉方法、装置、电子设备及 计算机存储介质,以解决如何在对多个近距离的面部进行表情捕捉时而不影响人体肢体动 作执行的技术问题。 为了实现上述目的,第一方面,本公开提供了以下技术方案: 一种多面部表情捕捉方法,其中,所述多面部通过多个图像获取装置捕捉;所述多 个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围;所述多面部表情捕捉方法 包括: 获取所述多面部的多幅图像; 基于所述多面部活动的范围,对所述多幅图像进行人脸识别、表情识别和人脸姿 态识别; 基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果,确定各面部的表 情信息。 进一步地,如果针对任一面部,获取多幅图像,则所述方法包括: 对所述多幅图像进行人脸识别、表情识别和人脸姿态识别的步骤,具体包括: 对所述任一面部的所述多幅图像进行人脸识别、表情识别和人脸姿态识别,得到 多个识别结果; 基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果,确定各面部的表 情信息的步骤,具体包括: 确定各识别结果的融合权重; 通过所述融合权重,将所述各识别结果进行融合; 基于融合结果,确定所述任一面部的表情信息。 进一步地,所述确定各识别结果的融合权重的步骤,具体包括: 计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的 4 CN 111598002 A 说 明 书 2/9 页 所述各图像中的人脸的朝向; 确定所述任一面部的所述各图像中人脸特征点; 基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离,确定多 个第一权重; 基于所述人脸特征点相对于所述人脸朝向的平均可信度,确定所述任一面部的任 一表情的多个第二权重; 将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和,得到多 个求和结果,作为所述各识别结果的所述融合权重。 为了实现上述目的,第二方面,本公开还提供了以下技术方案: 一种多面部表情捕捉装置,其中,所述多面部通过多个图像获取装置捕捉;所述多 个图像获取装置的图像捕捉范围为覆盖所述多面部活动的范围;所述多面部表情捕捉装置 包括: 获取模块,用于获取所述多面部的多幅图像; 识别模块,用于基于所述多面部活动的范围,对所述多幅图像进行人脸识别、表情 识别和人脸姿态识别; 确定模块,用于基于所述人脸识别、所述表情识别和所述人脸姿态识别的结果,确 定各面部的表情信息。 进一步地,如果针对任一面部,获取多幅图像,则所述装置包括: 所述识别模块,具体用于:对所述任一面部的所述多幅图像进行人脸识别、表情识 别和人脸姿态识别,得到多个识别结果; 所述确定模块,具体用于:确定各识别结果的融合权重;通过所述融合权重,将所 述各识别结果进行融合;基于融合结果,确定所述任一面部的表情信息。 进一步地,所述确定模块具体还用于: 计算所述任一面部的各图像与各图像获取装置之间的距离、以及所述任一面部的 所述各图像中的人脸的朝向; 确定所述任一面部的所述各图像中人脸特征点; 基于所述任一面部的所述各图像与所述各图像获取装置之间的所述距离,确定多 个第一权重; 基于所述人脸特征点相对于所述人脸朝向的平均可信度,确定所述任一面部的任 一表情的多个第二权重; 将分别对应于所述任一面部的所述各图像中的第一权重与第二权重求和,得到多 个求和结果,作为所述各识别结果的所述融合权重。 为了实现上述目的,第三方面,本公开还提供了以下技术方案: 一种电子设备,其特征在于,包括处理器和存储器;其中: 所述存储器,用于存放计算机程序; 所述处理器,用于执行所述存储器上所存放的程序时,实现本公开第一方面中任 意一项所述的方法步骤。 为了实现上述目的,第四方面,本公开还提供了以下技术方案: 一种计算机可读存储介质,其特征在于,其用于存储非暂时性计算机可读指令,当 5 CN 111598002 A 说 明 书 3/9 页 所述非暂时性计算机可读指令由计算机执行时,使得所述计算机执行如本公开第一方面中 任意一项所述的多面部表情捕捉方法。 与现有技术相比,本公开实施例至少具有以下有益效果: 本公开实施例提供一种多面部表情捕捉方法、装置、电子设备及计算机存储介质。 其中,多面部通过多个图像获取装置捕捉;多个图像获取装置的图像捕捉范围为覆盖多面 部活动的范围;该多面部表情捕捉方法可以包括:获取多面部的多幅图像;基于多面部活动 的范围,对多幅图像进行人脸识别、表情识别和人脸姿态识别;基于人脸识别、表情识别和 人脸姿态识别的结果,确定各面部的表情信息。本公开实施例通过对面部图像进行人脸识 别、表情识别和人脸姿态识别来确定面部表情信息,克服了传统技术采用头戴式捕捉设备 对人体肢体活动造成限制的缺陷,解决了如何在对多个近距离的面部进行表情捕捉时而不 影响人体肢体动作执行的技术问题,实现了无需头戴式面部捕捉设备就可以捕捉面部表情 的技术效果,例如,可以使得表演者轻松地做出更多的动作。 为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为 让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附 图,详细说明如下。本公开的其它特征和优点将在随后的说明书中阐述,并且,部分地从说 明书中变得显而易见,或者通过实施本公开而得以体现。本公开的目的和其他优点可通过 在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。所要求保护的主题不 限于解决在
下载此资料需消耗2积分,
分享到:
收藏