技术摘要：
本申请公开了具有虚拟人物上妆功能的化妆品直播方法，先从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征，然后将妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面部的匹配度最高的最相似面部模型，然后基于选择的化妆品将最相似  全部
背景技术：
目前，通过网络短视频直播的社交方式越来越火爆，随着互联网建设的逐渐发达， 越来越多的人类活动都借助互联网实现，通过抖音、快手等短视频软件进行网络直播来实 现课程分享、物品展示。这其中，通过网络视频直播展示的方式进行化妆品效果展示、特性 解说、销售和带货属于比较热门的现象。在直播过程中，主播一般会实际使用化妆品进行化 妆过程以及妆后效果的直播，以展示出该化妆品对面部容貌提升的效果，例如通过眼线、眼 影、口红、腮红等化妆品使眼睛显得更大、使嘴唇的形态更为丰满、使面色红润、使面部轮廓 更紧致等等。 在用户在观看主播直播展示化妆效果的过程中，只能直观的感受到化妆品在主播 面部产生的化妆效果，但是用户同时也希望能演示出自己使用化妆品前、后的容貌变化，相 对直观地感受到该化妆品在自己面部所产生的大致化妆效果，从而作为用户是否决定购买 的一个参考。
技术实现要素：
（一）申请目的 基于此，为了使用户能够在观看直播过程中查看到自身对感兴趣化妆品的虚拟上妆效 果，使得用户对化妆品在自己面部所产生的效用有直观感受，为用户购买化妆品提供更有 利的参考，本申请公开了以下技术方案。 （二）技术方案 一方面，提供了一种具有虚拟人物上妆功能的化妆品直播系统，包括： 妆前特征提取模块，用于从获取到的用户上传的面部图像或视频中提取出用户的妆前 面部特征； 面部模型匹配模块，用于将所述妆前面部特征与预先建立的各面部模型的面部特征进 行比对，确定出与用户面部的匹配度最高的最相似面部模型； 妆后特征获取模块，用于基于选择的化妆品将所述最相似面部模型的面部特征输入对 应的上妆效果虚拟器，得到用户的妆后面部特征； 妆后图像生成模块，用于依据所述妆后面部特征生成虚拟的用户妆后图像或视频； 妆后图像反馈模块，用于将所述用户妆后图像或视频反馈给用户。 在一种可能的实施方式中，所述妆前特征提取模块包括： 特征值计算单元，用于利用积分图对用户上传的面部图像进行矩形区域遍历，计算出 各个矩形区域的Haar-like特征值； 图像分类筛选单元，用于将所述各个矩形区域的Haar-like特征值输入预先训练好的 4 CN 111586428 A 说　明　书 2/14 页 AdaBoost级联分类器，筛选出面部区域图像；其中， 所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面 部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。 在一种可能的实施方式中，所述妆前特征提取模块还包括： 粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标 信息； 精定位子模块，用于将所述粗定位坐标信息作为主动外观模型的初始位置信息进行拟 合，得到面部关键点的精定位信息。 在一种可能的实施方式中，所述粗定位子模块包括： 相似度计算单元，用于利用不同尺寸的方向梯度直方图特征滤波器对用户上传的图像 进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度； 面部判定单元，用于将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值 则判定为检测到面部，否则判定为未检测到面部。 在一种可能的实施方式中，所述精定位子模块包括： 模型构建单元，用于建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模 型构建主动外观模型； 模型拟合单元，用于基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图 像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。 在一种可能的实施方式中，所述上妆效果虚拟器采用BP神经网络实现对所述最相 似面部模型的面部特征的运算；其中， 所述BP神经网络的训练过程包括：从模特面部样本中提取上妆前和上妆后的面部特 征，将上妆前的模特面部特征输入BP神经网络，并将BP神经网络输出的面部特征与上妆后 的模特面部特征进行误差对比，依据对比结果进行权重调节并重复训练，直至BP神经网络 输出的面部特征与上妆后的模特面部特征相拟合。 在一种可能的实施方式中，所述选择的化妆品的选择方式为系统自动确定或用户 手动选择；其中，所述系统自动确定具体为：系统自动确定出当前直播所使用的化妆品并自 动采用该化妆品作为上妆效果虚拟器生成妆后面部特征的依据； 所述用户手动选择具体为：接收用户在直播画面上选择的表示本次直播过程中已试用 过化妆品的虚拟按键信息，或接收用户发出的与本次直播过程中已试用过的化妆品相对应 的符号信息，并选择与该虚拟按键信息或该符号信息相对应的化妆品作为上妆效果虚拟器 生成妆后面部特征的依据。 在一种可能的实施方式中，在采用所述用户手动选择的方式选择化妆品时，所述 选择的化妆品包括多个同种类型的化妆品，所述妆后特征获取模块得到对应于所述多个同 种类型化妆品的多个所述妆后面部特征，所述妆后图像生成模块依据每个妆后面部特征生 成相应的多个所述用户妆后图像或视频，所述妆后图像反馈模块将所述多个用户妆后图像 或视频进行图像拼接或视频画面拼接后反馈给用户。 另一方面，还提供了一种具有虚拟人物上妆功能的化妆品直播方法，包括： 从获取到的用户上传的面部图像或视频中提取出用户的妆前面部特征； 将所述妆前面部特征与预先建立的各面部模型的面部特征进行比对，确定出与用户面 5 CN 111586428 A 说　明　书 3/14 页 部的匹配度最高的最相似面部模型； 基于选择的化妆品将所述最相似面部模型的面部特征输入对应的上妆效果虚拟器，得 到用户的妆后面部特征； 依据所述妆后面部特征生成虚拟的用户妆后图像或视频； 将所述用户妆后图像或视频反馈给用户。 在一种可能的实施方式中，所述提取出用户的妆前面部特征包括： 利用积分图对用户上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar- like特征值； 将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛 选出面部区域图像；其中，所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类 器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表 情的正样本图像。 在一种可能的实施方式中，所述提取出用户的妆前面部特征还包括： 利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息； 将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟 合，得到面部关键点的精定位信息。 在一种可能的实施方式中，所述利用可变形部件模型对面部关键点进行粗定位， 得到粗定位坐标信息，包括： 利用不同尺寸的方向梯度直方图特征滤波器对用户上传的图像进行滤波，得到各个预 先训练好且相互关联的面部特征模板对应区域的相似度； 将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面 部，否则判定为未检测到面部。 在一种可能的实施方式中，所述将所述粗定位坐标信息作为主动外观模型的初始 位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息，包括： 建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模 型； 基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用 该误差对模型进行优化，得到精定位的面部关键点。 在一种可能的实施方式中，所述上妆效果虚拟器采用BP神经网络实现对所述最相 似面部模型的面部特征的运算；其中，所述BP神经网络的训练过程包括：从模特面部样本中 提取上妆前和上妆后的面部特征，将上妆前的模特面部特征输入BP神经网络，并将BP神经 网络输出的面部特征与上妆后的模特面部特征进行误差对比，依据对比结果进行权重调节 并重复训练，直至BP神经网络输出的面部特征与上妆后的模特面部特征相拟合。 在一种可能的实施方式中，所述选择的化妆品的选择方式为系统自动确定或用户 手动选择；其中，所述系统自动确定具体为：系统自动确定出当前直播所使用的化妆品并自 动采用该化妆品作为上妆效果虚拟器生成妆后面部特征的依据； 所述用户手动选择具体为：接收用户在直播画面上选择的表示本次直播过程中已试用 过化妆品的虚拟按键信息，或接收用户发出的与本次直播过程中已试用过的化妆品相对应 的符号信息，并选择与该虚拟按键信息或该符号信息相对应的化妆品作为上妆效果虚拟器 6 CN 111586428 A 说　明　书 4/14 页 生成妆后面部特征的依据。 在一种可能的实施方式中，在采用所述用户手动选择的方式选择化妆品时，所述 选择的化妆品包括多个同种类型的化妆品，所述妆后特征获取模块得到对应于所述多个同 种类型化妆品的多个所述妆后面部特征，所述妆后图像生成模块依据每个妆后面部特征生 成相应的多个所述用户妆后图像或视频，所述妆后图像反馈模块将所述多个用户妆后图像 或视频进行图像拼接或视频画面拼接后反馈给用户。 （三）有益效果 本申请公开的具有虚拟人物上妆功能的化妆品直播系统及方法，能够在主播进行直播 展示化妆品上妆效果时，通过用户上传自身面部图像并对该图像的相应区域附加上主播试 用的化妆品的上妆效果最终发送给用户，使得用户不仅能够看到化妆品在主播面部产生的 上妆效果，同时也能够看到化妆品在用户本人面部产生的虚拟上妆效果及其变化情况，利 于用户更加准确的判断该化妆品是否符合自己的审美和化妆需求。 附图说明 以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理 解为对本申请的保护范围的限制。 图1是本申请公开的化妆品直播系统实施例的结构框图。 图2是本申请公开的化妆品直播方法实施例的流程示意图。