logo好方法网

图像分类方法、装置及电子设备


技术摘要:
本申请提供了一种图像分类方法、装置、电子设备及计算机可读存储介质;方法包括:接收第一分类任务的分类请求;通过增量图像分类模型对待分类图像进行分类处理;第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型,增量图像分类模  全部
背景技术:
人工智能(Artificial  Intelligence,AI)是计算机科学的一个综合技术,通过研 究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技 术是一门综合学科,涉及领域广泛,例如自然语言处理技术以及机器学习/深度学习等几大 方向,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价 值。 人工智能技术中的重要分支是图像识别技术,在涉及到图像识别技术的产品中存 在以下应用场景,即在预先完成基础分类任务的情况下,将基础分类任务拓展到其他识别 场景,其他识别场景中的新分类任务中的识别目标相对于基础分类任务发生了一定程度的 改变,对于如何将基础分类任务学习得到的成熟模型迁移到新分类任务中以取得较好的性 能,在相关技术中暂无有效解决办法。
技术实现要素:
本发明实施例提供一种图像分类方法、装置、电子设备及计算机可读存储介质,能 够高效准确完成带背景类的图像分类任务。 本发明实施例的技术方案是这样实现的: 本发明实施例提供一种图像分类方法,包括: 接收第一分类任务的分类请求; 通过增量图像分类模型对待分类图像进行分类处理; 其中,所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一 基础类型不同的类型,所述增量图像分类模型是在用于执行所述第二分类任务的基础图像 分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得 到; 根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的 映射关系,将所述增量图像分类模型识别出的类型进行映射处理,得到所述第一分类任务 的分类结果; 基于所述第一分类任务的分类结果响应所述第一分类任务的分类请求。 在上述方案中,所述通过增量图像分类模型对待分类图像进行分类处理,包括: 通过所述增量图像分类模型对所述待分类图像进行特征提取处理,得到所述待分类图 像的特征图; 通过所述增量图像分类模型对所述待分类图像的特征图进行池化处理,得到所述待分 类图像的嵌入特征; 6 CN 111597374 A 说 明 书 2/35 页 通过所述增量图像分类模型,对所述待分类图像进行分类处理,以得到所述待分类图 像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率; 将具有最大概率的类型确定为所述增量图像分类模型识别出的所述待分类图像的类 型。 在上述方案中,所述将所述第一背景类型的图像样本在所述增量图像分类模型中 进行正向传播,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率,包 括: 通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理,得到 所述第一背景类型的图像样本的特征图; 通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理, 得到所述第一背景类型的图像样本的嵌入特征; 通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接 处理,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。 在上述方案中,所述基于所述更新后的第二图像样本集合,对所述增量图像分类 模型中进行多轮次训练,包括: 基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合,获取对应第k轮 次正向传播和反向传播的第k轮次图像样本集合; 其中,第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图 像样本集合; 将所述第k轮次图像样本集合中的图像样本,在所述增量图像分类模型中进行第k轮次 的正向传播和反向传播,以更新所述增量图像分类模型,其中,k为大于或者等于2的整数; 当第k轮次的正向传播和反向传播结束时,继续对所述增量图像分类模型进行第k 1轮 次的正向传播和反向传播,以继续更新所述增量图像分类模型; 当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内,或者所述 增量图像分类模型的训练轮次达到训练轮次阈值时,确定所述增量图像分类模型训练完 成。 在上述方案中,所述对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集 合,包括: 通过所述第k-1轮次的正向传播和反向传播,获取所述第k-1轮次图像样本集合中每个 所述第一基础类型的图像样本以及第二背景类型的图像样本的误差; 基于所获取的误差,对每个所述第一基础类型的图像样本、所述第二背景类型的图像 样本整体上进行降序排序处理; 在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的 多个图像样本,并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本,组 成第k轮次图像样本集合。 本发明实施例提供一种图像分类装置,包括: 接收模块,用于接收第一分类任务的分类请求; 分类模块,用于通过增量图像分类模型对待分类图像进行分类处理; 其中,所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一 7 CN 111597374 A 说 明 书 3/35 页 基础类型不同的类型,所述增量图像分类模型是在用于执行所述第二分类任务的基础图像 分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得 到; 映射模块,用于根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别 的类型之间的映射关系,将所述增量图像分类模型识别出的类型进行映射处理,得到所述 第一分类任务的分类结果; 响应模块,用于基于所述第一分类任务的分类结果响应所述第一分类任务的分类请 求。 在上述方案中,所述基础图像分类模型能够识别的类型包括第一背景类型以及至 少一种第一基础类型,所述增量图像分类模型能够识别的类型包括第二背景类型、至少一 种所述第一基础类型、以及至少一种第二基础类型,所述第一分类任务需要识别的类型包 括第三背景类型、以及至少一种第三基础类型; 所述映射模块,还用于: 当所述增量图像分类模型识别出的类型满足以下条件至少之一时,生成所述待分类图 像属于所述第三基础类型的分类结果: 所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础 类型具有映射关系; 所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础 类型具有映射关系; 当所述增量图像分类模型识别出的类型满足以下条件至少之一时,生成所述待分类图 像属于所述第三背景类型的分类结果: 所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础 类型不具有映射关系; 所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础 类型不具有映射关系; 所述增量图像分类模型识别出的类型是所述第二背景类型。 在上述方案中,所述基础图像分类模型能够识别的类型包括第一背景类型以及至 少一种第一基础类型,所述增量图像分类模型能够识别的类型包括第二背景类型、至少一 种所述第一基础类型、以及至少一种第二基础类型,所述第一分类任务需要识别的类型包 括第三背景类型、以及至少一种第三基础类型; 所述映射模块,还用于: 当所述增量图像分类模型识别出的类型满足以下条件时,生成所述待分类图像属于所 述第三基础类型的分类结果: 所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础 类型具有映射关系; 当所述增量图像分类模型识别出的类型不满足所述条件时,生成所述待分类图像属于 所述第三背景类型的分类结果。 在上述方案中,所述方法还包括:第二分类任务模块,用于: 接收所述第二分类任务的分类请求; 8 CN 111597374 A 说 明 书 4/35 页 通过所述基础图像分类模型对待分类图像进行分类处理; 将所述基础图像分类模型识别出的类型,作为所述第二分类任务的分类结果; 基于所述第二分类任务的分类结果响应所述第二分类任务的分类请求。 在上述方案中,所述分类模块,还用于: 通过所述增量图像分类模型对所述待分类图像进行特征提取处理,得到所述待分类图 像的特征图; 通过所述增量图像分类模型对所述待分类图像的特征图进行池化处理,得到所述待分 类图像的嵌入特征; 通过所述增量图像分类模型,对所述待分类图像进行分类处理,以得到所述待分类图 像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率; 将具有最大概率的类型确定为所述增量图像分类模型识别出的所述待分类图像的类 型。 在上述方案中,所述装置还包括:训练模块,用于: 在通过增量图像分类模型对待分类图像进行分类处理之前, 在所述基础图像分类模型中的全连接层中增加分类器; 其中,所述分类器用于识别所述第一分类任务需要识别、且所述基础图像分类模型无 法识别的第二基础类型,得到初始化的所述增量图像分类模型; 获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图 像分类模型的第二图像样本集合; 通过所述第二图像样本集合,生成初始化的所述增量图像分类模型的全连接层中用于 识别所述第二基础类型的分类器的初始参数; 对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理,并将标注 处理结果应用于所述第二图像样本集合,得到更新后的第二图像样本集合; 基于所述更新后的第二图像样本集合,对所述增量图像分类模型进行多轮次训练,以 在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。 在上述方案中,所述训练模块,还用于: 获取第一基础类型的图像样本、所述第一背景类型的图像样本,以组成所述第一图像 样本集合; 其中,所述第一背景类型是除了所述第一基础类型之外的类型; 获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的 图像样本,以组成所述第二图像样本集合; 其中,所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类 型。 在上述方案中,所述训练模块,还用于: 将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,在所述基础 图像分类模型中进行正向传播,得到对应每个所述第二基础类型的嵌入特征; 基于对应每个所述第二基础类型的嵌入特征,生成初始化的所述增量图像分类模型的 全连接层中用于识别所述第二基础类型的分类器的初始参数。 在上述方案中,所述训练模块,还用于: 9 CN 111597374 A 说 明 书 5/35 页 针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,执行以下 处理: 通过所述基础图像分类模型对所述图像样本进行特征提取处理,得到所述图像样本的 特征图; 通过所述基础图像分类模型对所述图像样本的特征图进行池化处理,得到所述图像样 本的嵌入特征。 在上述方案中,所述训练模块,还用于: 针对任一种所述第二基础类型执行以下处理: 将所述第二基础类型的多个图像样本的嵌入特征进行平均处理,得到对应所述第二基 础类型的平均嵌入特征,并 将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二 基础类型的分类器的初始参数。 在上述方案中,所述训练模块,还用于: 针对所述第一图像样本集合中所述第一背景类型的每个图像样本,执行以下处理: 将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播,得到所述 第一背景类型的图像样本属于每个所述第二基础类型的概率; 基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率,获取对应 每个所述第二基础类型的混淆样本,并 针对每个所述混淆样本执行以下处理: 将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图 像样本; 将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的 图像样本。 在上述方案中,所述训练模块,还用于: 通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理,得到 所述第一背景类型的图像样本的特征图; 通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理, 得到所述第一背景类型的图像样本的嵌入特征; 通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接 处理,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。 在上述方案中,所述训练模块,还用于: 针对所述第一背景类型的每个图像样本,执行以下处理: 确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率; 当所述最大概率大于混淆样本概率阈值时,将所述第一背景类型的图像样本确定为对 应所述最大概率的第二基础类型的混淆样本。 在上述方案中,所述训练模块,还用于: 基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合,获取对应第k轮 次正向传播和反向传播的第k轮次图像样本集合; 其中,第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图 10 CN 111597374 A 说 明 书 6/35 页 像样本集合; 将所述第k轮次图像样本集合中的图像样本,在所述增量图像分类模型中进行第k轮次 的正向传播和反向传播,以更新所述增量图像分类模型,其中,k为大于或者等于2的整数; 当第k轮次的正向传播和反向传播结束时,继续对所述增量图像分类模型进行第k 1轮 次的正向传播和反向传播,以继续更新所述增量图像分类模型; 当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内,或者所述 增量图像分类模型的训练轮次达到训练轮次阈值时,确定所述增量图像分类模型训练完 成。 在上述方案中,所述训练模块,还用于: 通过第k-1轮次的正向传播和反向传播,获取所述第k-1轮次图像样本集合中每个所述 第一基础类型的图像样本以及第二背景类型的图像样本的误差; 基于所获取的误差,对每个所述第一基础类型的图像样本、所述第二背景类型的图像 样本整体上进行降序排序处理; 在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的 多个图像样本,并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本,组 成第k轮次图像样本集合。 本发明实施例提供一种增量图像分类模型的训练方法, 所述增量图像分类模型是基于基础分类模型构建的;所述基础图像分类模型用于识别 第一背景类型、以及至少一种第一基础类型,所述增量图像分类模型用于识别至少一种第 二基础类型、以及至少一种所述第一基础类型; 所述方法包括: 在所述基础图像分类模型中的全连接层中增加分类器,得到初始化的所述增量图像分 类模型,其中,所述分类器用于识别第一分类任务需要识别、且用于执行第二分类任务的所 述基础图像分类模型无法识别的所述第二基础类型; 获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图 像分类模型的第二图像样本集合; 通过所述第二图像样本集合,生成初始化的所述增量图像分类模型中的全连接层中用 于识别所述第二基础类型的分类器的初始参数; 基于所述第一图像样本集合中的第一背景类型的图像样本,对所述增量图像分类模型 进行区分学习,以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增 量图像分类模型。 在上述方案中,所述获取用于训练所述基础图像分类模型的第一图像样本集合, 包括: 获取第一基础类型的图像样本、所述第一背景类型的图像样本,以组成所述第一图像 样本集合; 其中,所述第一背景类型是除了所述第一基础类型之外的类型; 所述获取用于训练所述增量图像分类模型的第二图像样本集合,包括: 获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的 图像样本,以组成所述第二图像样本集合; 11 CN 111597374 A 说 明 书 7/35 页 其中,所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类 型。 在上述方案中,所述通过所述第二图像样本集合,生成初始化的所述增量图像分 类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数,包括: 将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,在所述基础 图像分类模型中进行正向传播,得到对应每个所述第二基础类型的嵌入特征; 基于对应每个所述第二基础类型的嵌入特征,生成初始化的所述增量图像分类模型的 全连接层中用于识别所述第二基础类型的分类器的初始参数。 在上述方案中,所述将所述第二图像样本集合中对应不同所述第二基础类型的多 个图像样本,在所述基础图像分类模型中进行正向传播,得到对应每个所述第二基础类型 的嵌入特征,包括: 针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,执行以下 处理: 通过所述基础图像分类模型对所述图像样本进行特征提取处理,得到所述图像样本的 特征图; 通过所述基础图像分类模型对所述图像样本的特征图进行池化处理,得到所述图像样 本的嵌入特征。 在上述方案中,所述基于对应每个所述第二基础类型的嵌入特征,生成初始化的 所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数,包 括: 针对任一种所述第二基础类型执行以下处理: 将所述第二基础类型的多个图像样本的嵌入特征进行平均处理,得到对应所述第二基 础类型的平均嵌入特征,并 将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二 基础类型的分类器的初始参数。 在上述方案中,所述基于所述第一图像样本集合中的第一背景类型的图像样本, 对所述增量图像分类模型进行区分学习,以在具有所述初始参数的增量图像分类模型的基 础上得到区分学习后的增量图像分类模型,包括: 对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理,并将标注 处理结果应用于所述第二图像样本集合,得到更新后的第二图像样本集合; 基于所述更新后的第二图像样本集合,对所述增量图像分类模型进行多轮次训练,以 在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。 在上述方案中,所述对所述第一图像样本集合中的第一背景类型的图像样本进行 样本标注处理,包括: 针对所述第一图像样本集合中所述第一背景类型的每个图像样本,执行以下处理: 将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播,得到所述 第一背景类型的图像样本属于每个所述第二基础类型的概率; 基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率,获取对应 每个所述第二基础类型的混淆样本,并 12 CN 111597374 A 说 明 书 8/35 页 针对每个所述混淆样本执行以下处理: 将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图 像样本; 将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的 图像样本。 在上述方案中,所述将所述第一背景类型的图像样本在所述增量图像分类模型中 进行正向传播,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率,包 括: 通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理,得到 所述第一背景类型的图像样本的特征图; 通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理, 得到所述第一背景类型的图像样本的嵌入特征; 通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接 处理,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。 在上述方案中,所述基于所述第一背景类型的每个图像样本属于每个所述第二基 础类型的概率,获取对应每个所述第二基础类型的混淆样本,包括: 针对所述第一背景类型的每个图像样本,执行以下处理: 确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率; 当所述最大概率大于混淆样本概率阈值时,将所述第一背景类型的图像样本确定为对 应所述最大概率的第二基础类型的混淆样本。 在上述方案中,所述基于所述更新后的第二图像样本集合,对所述增量图像分类 模型中进行多轮次训练,包括: 基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合,获取对应第k轮 次正向传播和反向传播的第k轮次图像样本集合; 其中,第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图 像样本集合; 将所述第k轮次图像样本集合中的图像样本,在所述增量图像分类模型中进行第k轮次 的正向传播和反向传播,以更新所述增量图像分类模型,其中,k为大于或者等于2的整数; 当第k轮次的正向传播和反向传播结束时,继续对所述增量图像分类模型进行第k 1轮 次的正向传播和反向传播,以继续更新所述增量图像分类模型; 当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内,或者所述 增量图像分类模型的训练轮次达到训练轮次阈值时,确定所述增量图像分类模型训练完 成。 在上述方案中,所述对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集 合,获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合,包括: 通过第k-1轮次的正向传播和反向传播,获取所述第k-1轮次图像样本集合中每个所述 第一基础类型的图像样本以及第二背景类型的图像样本的误差; 基于所获取的误差,对每个所述第一基础类型的图像样本、所述第二背景类型的图像 样本整体上进行降序排序处理; 13 CN 111597374 A 说 明 书 9/35 页 在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的 多个图像样本,并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本,组 成第k轮次图像样本集合。 本发明实施例提供一种增量图像分类模型的训练装置, 所述增量图像分类模型是基于基础分类模型构建的; 所述基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型,所述增 量图像分类模型用于识别至少一种第二基础类型、以及至少一种所述第一基础类型; 所述装置包括: 构成模块,用于在所述基础图像分类模型中的全连接层中增加分类器,得到初始化的 所述增量图像分类模型,其中,所述分类器用于识别第一分类任务需要识别、且用于执行第 二分类任务的所述基础图像分类模型无法识别的所述第二基础类型; 集合获取模块,用于获取用于训练所述基础图像分类模型的第一图像样本集合、以及 用于训练所述增量图像分类模型的第二图像样本集合; 初始化模块,用于通过所述第二图像样本集合,生成初始化的所述增量图像分类模型 中的全连接层中用于识别所述第二基础类型的分类器的初始参数; 训练模块,用于基于所述第一图像样本集合中的第一背景类型的图像样本,对所述增 量图像分类模型进行区分学习,以在具有所述初始参数的增量图像分类模型的基础上得到 区分学习后的增量图像分类模型。 在上述方案中,所述集合获取模块,还用于: 获取第一基础类型的图像样本、所述第一背景类型的图像样本,以组成所述第一图像 样本集合; 其中,所述第一背景类型是除了所述第一基础类型之外的类型; 所述集合获取模块,还用于: 获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的 图像样本,以组成所述第二图像样本集合; 其中,所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类 型。 在上述方案中,所述初始化模块,还用于: 将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,在所述基础 图像分类模型中进行正向传播,得到对应每个所述第二基础类型的嵌入特征; 基于对应每个所述第二基础类型的嵌入特征,生成初始化的所述增量图像分类模型的 全连接层中用于识别所述第二基础类型的分类器的初始参数。 在上述方案中,所述初始化模块,还用于: 针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本,执行以下 处理: 通过所述基础图像分类模型对所述图像样本进行特征提取处理,得到所述图像样本的 特征图; 通过所述基础图像分类模型对所述图像样本的特征图进行池化处理,得到所述图像样 本的嵌入特征。 14 CN 111597374 A 说 明 书 10/35 页 在上述方案中,所述初始化模块,还用于: 针对任一种所述第二基础类型执行以下处理: 将所述第二基础类型的多个图像样本的嵌入特征进行平均处理,得到对应所述第二基 础类型的平均嵌入特征,并 将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二 基础类型的分类器的初始参数。 在上述方案中,所述训练模块,还用于: 对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理,并将标注 处理结果应用于所述第二图像样本集合,得到更新后的第二图像样本集合; 基于所述更新后的第二图像样本集合,对所述增量图像分类模型进行多轮次训练,以 在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。 在上述方案中,所述训练模块,还用于: 针对所述第一图像样本集合中所述第一背景类型的每个图像样本,执行以下处理: 将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播,得到所述 第一背景类型的图像样本属于每个所述第二基础类型的概率; 基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率,获取对应 每个所述第二基础类型的混淆样本,并 针对每个所述混淆样本执行以下处理: 将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图 像样本; 将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的 图像样本。 在上述方案中,所述训练模块,还用于: 通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理,得到 所述第一背景类型的图像样本的特征图; 通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理, 得到所述第一背景类型的图像样本的嵌入特征; 通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接 处理,得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。 在上述方案中,所述训练模块,还用于: 针对所述第一背景类型的每个图像样本,执行以下处理: 确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率; 当所述最大概率大于混淆样本概率阈值时,将所述第一背景类型的图像样本确定为对 应所述最大概率的第二基础类型的混淆样本。 在上述方案中,所述训练模块,还用于: 基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合,获取对应第k轮 次正向传播和反向传播的第k轮次图像样本集合; 其中,第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图 像样本集合; 15 CN 111597374 A 说 明 书 11/35 页 将所述第k轮次图像样本集合中的图像样本,在所述增量图像分类模型中进行第k轮次 的正向传播和反向传播,以更新所述增量图像分类模型,其中,k为大于或者等于2的整数; 当第k轮次的正向传播和反向传播结束时,继续对所述增量图像分类模型进行第k 1轮 次的正向传播和反向传播,以继续更新所述增量图像分类模型; 当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内,或者所述 增量图像分类模型的训练轮次达到训练轮次阈值时,确定所述增量图像分类模型训练完 成。 在上述方案中,所述训练模块,还用于: 通过第k-1轮次的正向传播和反向传播,获取所述第k-1轮次图像样本集合中每个所述 第一基础类型的图像样本以及第二背景类型的图像样本的误差; 基于所获取的误差,对每个所述第一基础类型的图像样本、所述第二背景类型的图像 样本整体上进行降序排序处理; 在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的 多个图像样本,并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本,组 成第k轮次图像样本集合。 本发明实施例提供一种电子设备,包括: 存储器,用于存储可执行指令; 处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的图像 分类方法或者增量图像分类模型的训练方法。 本发明实施例提供一种计算机可读存储介质,存储有可执行指令,用于被处理器 执行时,实现本发明实施例提供的图像分类方法或者增量图像分类模型的训练方法。 本发明实施例具有以下有益效果: 增量图像分类模型能在基础图像分类模型的基础上快速学习与分类相关的信息,并且 提高已存在的第一分类任务的数据利用率,  通过对第一背景类型中的图像样本进行区分 学习以适应增量图像分类模型所能够识别的类型,从而在具有第一分类任务的识别能力的 情况下,能够识别基础图像分类模型不能识别的第二基础类型,提升在混合学习中新类型 的识别性能。 附图说明 图1A是相关技术中直接迁移学习的原理示意图; 图1B是相关技术中大规模增量学习的原理示意图; 图2是本发明实施例提供的图像分类系统的架构示意图; 图3是本发明实施例提供的应用图像分类方法与增量图像分类模型的训练方法的服务 器的结构示意图; 图4是本发明实施例提供的增量图像分类模型的构建示意图; 图5A-5C是本发明实施例提供的增量图像分类模型的训练方法的流程示意图; 图6是本发明实施例提供的样本清洗示意图; 图7A-7D是本发明实施例提供的图像分类方法的流程示意图; 图8是本发明实施例提供的图像分类方法的应用场景示意图; 16 CN 111597374 A 说 明 书 12/35 页 图9是本发明实施例提供的图像分类方法的增量图像分类模型的训练示意图; 图10是本发明实施例提供的特征模块(resnet101网络)的结构示意图; 图11是本发明实施例提供的图像分类方法的实现逻辑流程图。
下载此资料需消耗2积分,
分享到:
收藏