logo好方法网

图像检测方法、装置、电子设备及存储介质


技术摘要:
本申请提出一种图像检测方法、装置、电子设备及存储介质。具体实现方案为:将对待检测图像进行特征提取,得到待检测特征图像;利用卷积层对待检测特征图像进行处理,得到待检测图像中的像素点属于文本预测框的概率、像素点所属的文本预测框的预测位置,以及与答案框中  全部
背景技术:
目前在教育教学场景中,学生的作业或试卷大多仍然采用人工方式进行评阅,学 生的作业或试卷的评阅工作量较大,给家长和老师带来了巨大的工作负担。针对这种现象 和问题,随着计算技术和人工智能技术的不断发展,人工智能技术已经逐步应用在教育教 学场景中。在一些大型教育场景中,已经推广出了各类自动判题、自动阅卷的方法和系统。 相关的拍照判题或自动判题系统中,大多是对学生涂写的答题卡进行计算机识 别,只需要学生将答案或选项以铅笔的形式进行涂写。这种方法对学生答题来说无形中增 加了答题时间成本,甚至容易出现填涂错误、漏涂的现象。另外,有些主观题需要学生将答 案写在答案框的固定区域内,当手写答案超出答题区的情况下会产生漏判问题。
技术实现要素:
本申请实施例提供一种图像检测方法、装置、电子设备及存储介质,以解决相关技 术存在的问题,技术方案如下: 第一方面,本申请实施例提供了一种图像检测方法,包括: 对待检测图像进行特征提取,得到待检测特征图像; 利用卷积层对待检测特征图像进行处理,得到待检测图像中的像素点属于文本预测框 的概率、像素点所属的文本预测框的预测位置,以及与答案框中的像素点匹配的题干框的 预测位置;其中,文本预测框包括题干框和答案框; 根据像素点属于文本预测框的概率、像素点所属的文本预测框的预测位置,以及与答 案框中的像素点匹配的题干框的预测位置,得到待检测图像的题干框和答案框的匹配关 系。 在一种实施方式中,对待检测图像进行特征提取,得到待检测特征图像,包括: 将待检测图像输入残差神经网络模型,得到多层特征图像; 利用特征图金字塔网络,依次对多层特征图像中的上层特征图像进行卷积计算和上采 样,并将卷积计算和上采样之后的上层特征图像和对应的下层特征图像进行拼接操作,得 到待检测特征图像。 在一种实施方式中,像素点所属的文本预测框的预测位置包括:像素点到所属的 文本预测框的各个边的距离以及文本预测框相对于待检测图像的预测角度。 在一种实施方式中,与答案框中的像素点匹配的题干框的预测位置包括:与答案 框中的像素点匹配的题干框的中心点的坐标值。 在一种实施方式中,根据像素点属于文本预测框的概率、像素点所属的文本预测 框的预测位置,以及与答案框中的像素点匹配的题干框的预测位置,得到待检测图像的题 5 CN 111738249 A 说 明 书 2/13 页 干框和答案框的匹配关系,包括: 根据像素点属于文本预测框的概率和像素点所属的文本预测框的预测位置,得到待检 测图像的题干框集合和答案框集合; 根据题干框集合、答案框集合,以及与答案框中的像素点匹配的题干框的预测位置,得 到待检测图像的题干框和答案框的匹配关系。 在一种实施方式中,根据像素点属于文本预测框的概率和像素点所属的文本预测 框的预测位置,得到待检测图像的题干框集合和答案框集合,包括: 根据像素点属于文本预测框的概率,确定待检测图像中属于文本预测框的像素点; 针对属于文本预测框的像素点,获取像素点所属的文本预测框的预测位置; 根据获取的像素点所属的文本预测框的预测位置,利用非极大值抑制算法得到待检测 图像的题干框集合和答案框集合。 在一种实施方式中,根据题干框集合、答案框集合,以及与答案框中的像素点匹配 的题干框的预测位置,得到待检测图像的题干框和答案框的匹配关系,包括: 根据与答案框中的像素点匹配的题干框的预测位置,利用聚类算法得到与答案框匹配 的题干框的预测位置; 计算与答案框匹配的题干框的预测位置与题干框集合中的每个题干框的中心点之间 的欧氏距离; 将最小的欧氏距离对应的题干框作为与答案框匹配的题干框。 在一种实施方式中,上述方法还包括采用以下方式的至少之一对卷积层进行训 练: 利用戴斯系数差异函数计算像素点属于文本预测框的概率的损失值; 利用交并比损失函数计算像素点所属的文本预测框的预测位置的损失值; 利用平滑L1损失函数计算与答案框中的像素点匹配的题干框的预测位置的损失值。 第二方面,本申请实施例提供了一种图像检测装置,包括: 提取单元,用于对待检测图像进行特征提取,得到待检测特征图像; 处理单元,用于利用卷积层对待检测特征图像进行处理,得到待检测图像中的像素点 属于文本预测框的概率、像素点所属的文本预测框的预测位置,以及与答案框中的像素点 匹配的题干框的预测位置;其中,文本预测框包括题干框和答案框; 检测单元,用于根据像素点属于文本预测框的概率、像素点所属的文本预测框的预测 位置,以及与答案框中的像素点匹配的题干框的预测位置,得到待检测图像的题干框和答 案框的匹配关系。 在一种实施方式中,提取单元用于: 将待检测图像输入残差神经网络模型,得到多层特征图像; 利用特征图金字塔网络,依次对多层特征图像中的上层特征图像进行卷积计算和上采 样,并将卷积计算和上采样之后的上层特征图像和对应的下层特征图像进行拼接操作,得 到待检测特征图像。 在一种实施方式中,像素点所属的文本预测框的预测位置包括:像素点到所属的 文本预测框的各个边的距离以及文本预测框相对于待检测图像的预测角度。 在一种实施方式中,与答案框中的像素点匹配的题干框的预测位置包括:与答案 6 CN 111738249 A 说 明 书 3/13 页 框中的像素点匹配的题干框的中心点的坐标值。 在一种实施方式中,检测单元包括: 第一检测子单元,用于根据像素点属于文本预测框的概率和像素点所属的文本预测框 的预测位置,得到待检测图像的题干框集合和答案框集合; 第二检测子单元,用于根据题干框集合、答案框集合,以及与答案框中的像素点匹配的 题干框的预测位置,得到待检测图像的题干框和答案框的匹配关系。 在一种实施方式中,第一检测子单元用于: 根据像素点属于文本预测框的概率,确定待检测图像中属于文本预测框的像素点; 针对属于文本预测框的像素点,获取像素点所属的文本预测框的预测位置; 根据获取的像素点所属的文本预测框的预测位置,利用非极大值抑制算法得到待检测 图像的题干框集合和答案框集合。 在一种实施方式中,第二检测子单元用于: 根据与答案框中的像素点匹配的题干框的预测位置,利用聚类算法得到与答案框匹配 的题干框的预测位置; 计算与答案框匹配的题干框的预测位置与题干框集合中的每个题干框的中心点之间 的欧氏距离; 将最小的欧氏距离对应的题干框作为与答案框匹配的题干框。 在一种实施方式中,上述装置还包括训练单元,用于采用以下方式的至少之一对 卷积层进行训练: 利用戴斯系数差异函数计算像素点属于文本预测框的概率的损失值; 利用交并比损失函数计算像素点所属的文本预测框的预测位置的损失值; 利用平滑L1损失函数计算与答案框中的像素点匹配的题干框的预测位置的损失值。 第三方面,本申请实施例提供了一种电子设备,该设备包括:存储器和处理器。其 中,该存储器和该处理器通过内部连接通路互相通信,该存储器用于存储指令,该处理器用 于执行该存储器存储的指令,并且当该处理器执行该存储器存储的指令时,使得该处理器 执行上述各方面任一种实施方式中的方法。 第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质 存储计算机程序,当计算机程序在计算机上运行时,上述各方面任一种实施方式中的方法 被执行。 上述技术方案中的优点或有益效果至少包括:可从待检测图像中检测到题干框和 答案框的匹配关系,从而方便后续的判题流程,并且可避免由于答案框的固定区域限制产 生的漏判问题。 上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述 的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的 方面、实施方式和特征将会是容易明白的。 附图说明 在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的 部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请 7 CN 111738249 A 说 明 书 4/13 页 公开的一些实施方式,而不应将其视为是对本申请范围的限制。 图1为根据本申请实施例的图像检测方法的流程图; 图2为根据本申请另一实施例的图像检测方法的网络结构图; 图3a为根据本申请又一实施例的图像检测方法的待检测图像的图例; 图3b为图3a中的待检测图像对应的cls  map的预测值示意图; 图4为根据本申请另一实施例的图像检测方法的rbox  map的预测值示意图; 图5为根据本申请另一实施例的图像检测方法的near  map的预测值示意图; 图6为根据本申请另一实施例的图像检测方法的流程图; 图7为根据本申请另一实施例的图像检测方法的流程图; 图8为根据本申请另一实施例的图像检测方法的流程图; 图9为根据本申请另一实施例的图像检测方法的后处理过程的流程图; 图10为根据本申请实施例的图像检测装置的结构示意图; 图11为根据本申请实施例的图像检测装置的检测单元的结构示意图; 图12为根据本申请另一实施例的图像检测装置的结构示意图; 图13为用来实现本申请实施例的电子设备的框图。
下载此资料需消耗2积分,
分享到:
收藏