技术摘要：
本发明提供了一种数据处理方法、装置、设备及存储介质；方法包括：接收到针对目标特征库的特征数据处理请求，特征数据处理请求，用于请求对目标特征数据执行目标类型的数据处理；其中，目标特征库的特征数据通过至少一个存储块存储，用于供进行特征数据检索及查询；响  全部
背景技术：
云技术(Cloud  technology)是指在广域网或局域网内将硬件、软件、网络等系列 资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。借助于云技术的快速 发展，基于云部署的计算机视觉技术，例如人脸识别与检索技术已在智慧安防、智慧社区、 智慧零售等领域得到广泛应用。 对于云场景下的不同业务场景，特征库存储着对应不同业务的特征数据，以在相 应的业务场景下，供进行特征数据检索。例如，对应人脸门禁、人脸支付的业务场景，可分别 设置相应的存储有人脸特征数据的特征库；对应声纹密码校验的业务场景，可设置相应的 存储有声纹特征数据的特征库。 相关技术中，为了满足多个业务场景或单个业务场景的需要，往往设置多个特征 库，对于特征库中特征数据的存储，往往采用基于对象数组(vector)连续存储的方式，该方 式需要预留足够的内存来保证大规模新增特征数据的需求，大量占用内存资源，造成内存 资源的浪费；同时，当依据特征数据处理请求对某个特征库的特征数据进行处理时，需要对 所有特征库全局写锁，造成其他特征数据处理请求的延迟，并可能形成长尾请求。
技术实现要素：
本发明实施例提供一种数据处理方法、装置及计算机存储介质，能够有效节省内 存开销，提高特征数据处理的处理效率。 本发明实施例的技术方案是这样实现的： 本发明实施例提供了一种数据处理方法，所述方法包括： 接收到针对目标特征库的特征数据处理请求，所述特征数据处理请求，用于请求 对目标特征数据执行目标类型的数据处理； 其中，所述目标特征库的特征数据通过至少一个存储块存储； 响应于所述特征数据处理请求，确定所述目标特征数据对应的所述目标特征库的 目标存储块； 获取对应所述目标特征库的写锁； 基于所述目标存储块，对所述目标特征数据执行所述目标类型的数据处理，并释 放所述写锁。 本发明实施例还提供了一种数据处理装置，所述装置包括： 接收模块，用于接收到针对目标特征库的特征数据处理请求，所述特征数据处理 请求，用于请求对目标特征数据执行目标类型的数据处理；其中，所述目标特征库的特征数 据通过至少一个存储块存储； 5 CN 111552740 A 说　明　书 2/21 页 确定模块，用于响应于所述特征数据处理请求，确定所述目标特征数据对应的所 述目标特征库的目标存储块； 获取模块，用于获取对应所述目标特征库的写锁； 处理模块，用于基于所述目标存储块，对所述目标特征数据执行所述目标类型的 数据处理，并释放所述写锁。 在上述方案中，所述确定模块，还用于： 当所述目标类型的数据处理为特征数据存储时，解析所述特征数据处理请求，得 到待存储的所述目标特征数据； 查询所述目标特征库对应的空闲列表，得到查询结果； 其中，所述空闲列表用于记录空闲存储位，所述空闲存储位指示所述目标特征库 中已删除数据所对应的存储块； 基于所述查询结果，确定所述目标特征数据对应的所述目标特征库的目标存储 块。 在上述方案中，所述确定模块，还用于： 当所述查询结果表征所述空闲列表中存在至少一个空闲存储位时，获取所述目标 特征数据所对应的数据大小； 基于所述目标特征数据所对应的数据大小，确定目标空闲存储位，并将所述目标 空闲存储位所指示的存储块作为所述目标存储块。 在上述方案中，所述确定模块，还用于： 当所述查询结果表征所述空闲列表中不存在空闲存储位时，获取最新建立的所述 目标特征库的存储块的剩余存储容量，以及所述目标特征数据所对应的数据大小； 将所述剩余存储容量与所述目标特征数据的所对应的数据大小进行比对，得到比 对结果； 基于所述比对结果，确定所述目标特征数据对应的所述目标特征库的目标存储 块。 在上述方案中，所述处理模块，还用于： 当所述比对结果表征所述剩余存储容量不小于所述目标特征数据所对应的数据 大小时，将所述目标特征数据存储至所述目标特征库的目标存储块中； 当所述比对结果表征所述剩余存储容量小于所述目标特征数据所对应的数据大 小，并且所述剩余存储容量为零时，为所述目标特征库新建一个存储块，将所述目标特征数 据存储至所述新存储块中； 当所述比对结果表征所述剩余存储容量小于所述目标特征数据所对应的数据大 小，并且所述剩余存储容量不为零时，将所述目标特征数据部分存储至目标存储块，以使最 后一个存储块的剩余存储容量为零，并新建一个存储块，将剩余的目标特征数据存储至新 存储块中。 在上述方案中，所述确定模块，还用于： 当所述目标类型的数据处理为特征数据删除时，解析所述特征数据处理请求，得 到待删除的所述目标特征数据的数据标识； 根据所述数据标识，确定所述目标特征数据对应的所述目标特征库的目标存储 6 CN 111552740 A 说　明　书 3/21 页 块； 相应的，所述处理模块，还用于： 删除所述目标存储块中存储的所述目标特征数据； 在所述目标特征库的空闲列表中，记录所述目标存储块所对应的空闲存储位。 在上述方案中，所述确定模块，还用于 当所述目标类型的数据处理为特征数据修改时，解析所述特征数据处理请求，得 到待修改的所述目标特征数据的数据标识，以及用于修改所述目标特征数据的修改数据； 根据所述数据标识，确定所述目标特征数据对应的所述目标特征库的目标存储 块； 相应的，所述处理模块，用于在所述目标存储块中查找到所述目标特征数据，并将 所述目标特征数据替换为所述修改数据。 在上述方案中，当所述目标特征库归属于包括至少两个特征库的特征库集群时， 所述接收模块，用于接收到特征库处理请求，所述特征库处理请求，用于请求在所述特征库 集群中创建或删除特征库； 所述获取模块，用于响应于所述特征库处理请求，获取对应所述特征库集群的全 局写锁； 所述处理模块，用于在所述特征库集群中创建或删除特征库，并释放所述全局写 锁。 在上述方案中，所述确定模块，还用于响应于针对所述目标特征库的特征数据检 索请求，解析所述特征数据检索请求，得到所述特征数据检索请求所请求检索的特征数据； 所述处理模块，还用于将所述特征数据检索请求所请求检索的特征数据，分别与 所述目标特征库的存储块中的特征数据进行匹配，得到匹配结果； 所述输出模块，还用于基于所述匹配结果，返回特征数据检索结果，所述特征数据 检索结果，用于表征特征数据检索请求所请求检索的特征数据是否存在于所述目标特征 库。 本发明实施例还提供了一种数据处理装置，所述装置包括： 存储器，用于存储可执行指令； 处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的 数据处理方法。 本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有可计 算机可执行指令，所述计算机可执行指令用于执行本发明实施例提供的数据处理方法。 应用本发明实施例提供的数据处理方法、装置及计算机存储介质，至少具有以下 有益技术效果： 1)目标特征库的特征数据通过至少一个存储块存储；如此，通过存储块的方式进 行特征数据的存储，相较于相关技术中连续存储的方式，无需预留大量内存资源，实现了对 特征库的存储优化，节省了内存资源； 2)在接收到针对目标特征库的特征数据处理请求时，获取对应目标特征库的写 锁，在基于确定的目标存储块，对特征数据执行相应的处理后，释放对应目标特征库的写 锁；如此，为目标特征库设置单独的锁，有效避免了长尾请求的出现，提高多个特征库情况 7 CN 111552740 A 说　明　书 4/21 页 下特征数据处理的并行度，减少了特征数据处理过程中特征数据处理请求的等待时间。 附图说明 图1是本发明实施例提供的数据处理方法的一个应用场景示意图； 图2是本发明实施例提供的电子设备的结构示意图； 图3是本发明实施例提供的数据处理方法的一个可选的流程示意图； 图4是基于vector连续存储的人脸特征检索库的特征新增示意图； 图5是基于vector连续存储人脸特征检索库的特征删除示意图； 图6是基于vector连续存储人脸特征检索库全局写锁示意图； 图7是本发明实施例提供的数据处理方法的一个可选的交互流程示意图； 图8是本发明实施例提供的新增人脸特征数据处理的流程示意图； 图9是本发明实施例提供的数据处理方法中对特征库的写锁示意图； 图10是本发明实施例提供的块存储示意图； 图11是基于块存储的人脸检索库新增人脸特征的示意图； 图12是本发明实施例提供容器复用的示意图； 图13是本发明实施例提供的数据处理装置的结构示意图。