技术摘要：
本发明提供了一种视频处理方法及系统，该方法为：对待处理视频进行预处理，得到多个待处理视频片段；针对每一待处理视频片段，将待处理视频片段输入预设的类别预测模型进行动作类别预测，得到待处理视频片段对应的动作类别预测信息。本方案中，利用经过空间变换规则和  全部
背景技术：
随着科学技术的发展，深度学习逐渐应用于各个领域。在计算机视觉领域，通过深 度学习的方式训练神经网络模型，并利用训练好的神经网络模型对视频进行处理。 目前应用深度学习的方式为：人工标注训练数据，并利用人工标注好的训练数据 对神经网络模型进行训练。但是由于深度学习需要大量的训练数据，人工标注大量的训练 数据需要耗费较多的时间和人力，导致训练神经网络模型的效率较低和成本较高。
技术实现要素：
有鉴于此，本发明实施例提供一种视频处理方法及系统，以解决目前应用深度学 习的方式存在的训练神经网络模型的效率较低和成本较高等问题。 为实现上述目的，本发明实施例提供如下技术方案： 本发明实施例第一方面公开一种视频处理方法，所述方法包括： 对待处理视频进行预处理，得到多个待处理视频片段； 针对每一所述待处理视频片段，将所述待处理视频片段输入预设的类别预测模型 进行动作类别预测，得到所述待处理视频片段对应的动作类别预测信息，其中，所述类别预 测模型由基于第一样本数据训练第一神经网络模型得到，所述第一神经网络模型的初始化 参数为预设的预训练模型的参数，所述预训练模型由基于第二样本数据、预设的空间变换 规则和预设的时间变换规则训练第二神经网络模型得到。 优选的，所述基于第二样本数据、预设的空间变换规则和预设的时间变换规则训 练第二神经网络模型得到预训练模型的过程，包括： 对第二样本数据中的第二样本视频进行预处理，得到多个第二样本视频片段，每 个所述第二样本视频片段包括多帧第二样本图像； 针对每一所述第二样本视频片段，利用空间变换规则和时间变换规则，对所述第 二样本视频片段的所述第二样本图像进行随机时空变换得到第二样本变换视频片段，所述 空间变换规则包括x种空间变换方式，所述时间变换规则包括y种时间变换方式，x和y为正 整数； 利用所有所述第二样本变换视频片段，训练预先构建的第二神经网络模型直至所 述第二神经网络模型收敛，得到预训练模型，所述第二神经网络模型的最后一层为分类个 数为x*y的分类器。 优选的，所述基于第一样本数据训练第一神经网络模型得到类别预测模型的过 程，包括： 对第一样本数据中的第一样本视频进行预处理，得到多个第一样本视频片段，所 述第一样本数据中存在n个动作类别的第一样本视频，n为正整数； 4 CN 111598035 A 说　明　书 2/10 页 将所述预训练模型的参数作为预先构建的第一神经网络模型的初始化参数，所述 第一神经网络模型的最后一层为分类个数为n的分类器； 利用根据所有所述第一样本视频片段所确定的训练集，训练所述第一神经网络模 型直至所述第一神经网络模型收敛，得到类别预测模型。 优选的，所述得到类别预测模型之后，还包括： 利用根据所有所述第一样本视频片段所确定的测试集，测试所述类别预测模型的 动作类别预测的准确率。 优选的，所述对待处理视频进行预处理，得到多个待处理视频片段，包括： 根据预设的时间长度，将所述待处理视频划分为1个及1个以上的待处理视频片 段。 本发明实施例第二方面公开一种视频处理系统，所述系统包括： 预处理单元，用于对待处理视频进行预处理，得到多个待处理视频片段； 处理单元，用于针对每一所述待处理视频片段，将所述待处理视频片段输入预设 的类别预测模型进行动作类别预测，得到所述待处理视频片段对应的动作类别预测信息， 其中，所述类别预测模型由基于第一样本数据训练第一神经网络模型得到，所述第一神经 网络模型的初始化参数为预设的预训练模型的参数，所述预训练模型由基于第二样本数 据、预设的空间变换规则和预设的时间变换规则训练第二神经网络模型得到。 优选的，用于训练第二神经网络模型得到预训练模型的所述处理单元，包括： 第一预处理模块，用于对第二样本数据中的第二样本视频进行预处理，得到多个 第二样本视频片段，每个所述第二样本视频片段包括多帧第二样本图像； 变换模块，用于针对每一所述第二样本视频片段，利用空间变换规则和时间变换 规则，对所述第二样本视频片段的所述第二样本图像进行随机时空变换得到第二样本变换 视频片段，所述空间变换规则包括x种空间变换方式，所述时间变换规则包括y种时间变换 方式，x和y为正整数； 第一训练模块，用于利用所有所述第二样本变换视频片段，训练预先构建的第二 神经网络模型直至所述第二神经网络模型收敛，得到预训练模型，所述第二神经网络模型 的最后一层为分类个数为x*y的分类器。 优选的，用于训练第一神经网络模型得到类别预测模型的所述处理单元，包括： 第二预处理模块，用于对第一样本数据中的第一样本视频进行预处理，得到多个 第一样本视频片段，所述第一样本数据中存在n个动作类别的第一样本视频，n为正整数； 设置模块，用于将所述预训练模型的参数作为预先构建的第一神经网络模型的初 始化参数，所述第一神经网络模型的最后一层为分类个数为n的分类器； 第二训练模块，用于利用根据所有所述第一样本视频片段所确定的训练集，训练 所述第一神经网络模型直至所述第一神经网络模型收敛，得到类别预测模型。 优选的，用于训练第一神经网络模型得到类别预测模型的所述处理单元，还包括： 测试模块，用于利用根据所有所述第一样本视频片段所确定的测试集，测试所述 类别预测模型的动作类别预测的准确率。 优选的，所述预处理单元具体用于：根据预设的时间长度，将所述待处理视频划分 为1个及1个以上的待处理视频片段。 5 CN 111598035 A 说　明　书 3/10 页 基于上述本发明实施例提供的一种视频处理方法及系统，该方法为：对待处理视 频进行预处理，得到多个待处理视频片段；针对每一待处理视频片段，将待处理视频片段输 入预设的类别预测模型进行动作类别预测，得到待处理视频片段对应的动作类别预测信 息，其中，类别预测模型由基于第一样本数据训练第一神经网络模型得到，第一神经网络模 型的初始化参数为预设的预训练模型的参数，预训练模型由基于第二样本数据、预设的空 间变换规则和预设的时间变换规则训练第二神经网络模型得到。本方案中，利用经过空间 变换规则和时间变换规则处理得到的第二样本数据训练第二神经网络模型得到预训练模 型，将预训练模型的参数作为第一神经网络模型的初始化参数，并根据第一样本数据训练 第一神经网络模型得到类别预测模型，通过类别预测模型确定待处理视频片段的动作类别 预测信息，不需要人工标注训练数据，提高神经网络模型的训练效率、降低训练成本和提高 类别预测模型的预测准确率。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 提供的附图获得其他的附图。 图1为本发明实施例提供的一种视频处理方法的流程图； 图2为本发明实施例提供的获取预训练模型的流程图； 图3为本发明实施例提供的获取类别预测模型的流程图； 图4为本发明实施例提供的一种视频处理系统的结构框图。