logo好方法网

一种结合文字信息的快速绘本识别方法及系统


技术摘要:
本发明提供一种结合文字信息的快速绘本识别方法及系统,其中,方法包括:步骤S1:建立数据库,对已有的第一绘本图片进行编码获得第一编码信息;步骤S2:通过设备镜头拍摄绘本获取待识别的第二绘本图片,解析第二绘本图片获取第二编码信息;步骤S3:获取与第二绘本图片  全部
背景技术:
目前,绘本的识别都是在智能设备上通过摄像头获取待识别的绘本页,对绘本图 片进行特征提取,并将其与库里的绘本图片的特征进行比对,最终得到识别结果。 存在问题: 一.仅仅利用图片本身的信息,在光照变化以及绘本图片相似等等场景下,容易出 现识别错误 二.在特征比对的阶段,需要与库里所有图片进行比对,耗时太长,识别效率低下。
技术实现要素:
本发明目的之一在于提供了一种结合文字信息的快速绘本识别方法,结合文字的 语义信息能够提高绘本在复杂场景下的识别率;将数据库的图片划分若干类别,在绘本识 别比对时只要匹配某一类别中的一小部分图片,从而提高绘本识别的速度。 本发明实施例提供的一种结合文字信息的快速绘本识别方法,包括: 步骤S1:建立数据库,对已有的第一绘本图片进行编码获得第一编码信息; 步骤S2:通过设备镜头拍摄绘本获取待识别的第二绘本图片,解析第二绘本图片 获取第二编码信息; 步骤S3:基于第二编码与第一编码,获取与第二绘本图片对应的第一绘本图片的 绘本内容并播放绘本内容反馈给用户。 优选的,第一编码信息包括:基于文字信息的语义特征和基于图片内容的抽象特 征。 优选的,对数据库中的第一绘本图片进行聚类。 优选的,步骤S2:通过设备镜头拍摄绘本获取待识别的第二绘本图片,解析第二绘 本图片获取第二编码信息,具体包括: 进行文字检测和文字识别的文字信息,对所提取的文字信息进行编码得到其语义 信息; 提取第二绘本图片的图片特征。 优选的,步骤S3:基于第二编码与第一编码,获取与第二绘本图片对应的第一绘本 图片的绘本内容并播放绘本内容反馈给用户;具体包括: 在步骤S2的基础上,寻找第二绘本图片的第二编码信息的所属类别; 得到类别之后,与类别里的第一绘本图片进行比对,选取特征距离最小的第一绘 本图片作为最终的识别结果; 得到识别结果,播放相应的绘本内容反馈给用户。 4 CN 111597906 A 说 明 书 2/6 页 本发明还提供一种结合文字信息的快速绘本识别系统,包括: 数据库获取模块,用于建立数据库,对已有的第一绘本图片进行编码获得第一编 码信息; 绘本图片解析模块,用于通过设备镜头拍摄绘本获取待识别的第二绘本图片,解 析第二绘本图片获取第二编码信息;第一编码信息和第二编码信息包括:文字信息的语义 特征; 识别模块,用于基于第二编码与第一编码,获取与第二绘本图片对应的第一绘本 图片的绘本内容并播放绘本内容反馈给用户。 优选的,第一编码信息包括:基于文字信息的语义特征和基于图片内容的抽象特 征。 优选的,对数据库中的第一绘本图片进行聚类。 优选的,绘本图片解析模块执行包括如下操作: 进行文字检测和文字识别的文字信息,对所提取的文字信息进行编码得到其语义 信息; 提取第二绘本图片的图片特征。 优选的,识别模块执行包括如下操作: 在绘本图片解析模块的输出结果上,寻找第二绘本图片的第二编码信息的所属类 别; 得到类别之后,与类别里的第一绘本图片进行比对,选取特征距离最小的第一绘 本图片作为最终的识别结果; 得到识别结果,播放相应的绘本内容反馈给用户。 本发明具有如下有益效果: 一、图片上的文字信息,其语义特征不会因为图片内容的像素值发生变化而改变, 结合文字的语义信息能够提高绘本在复杂场景下的识别率 二、利用聚类,将数据库的图片划分若干类别,后续比对时只要匹配某一类别中的 一小部分图片,从而提高绘本识别的速度。 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变 得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。 附图说明 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实 施例一起用于解释本发明,并不构成对本发明的限制。在附图中: 图1为本发明实施例中一种结合文字信息的快速绘本识别方法的示意图; 图2为本发明实施例中一种绘本图片。
下载此资料需消耗2积分,
分享到:
收藏