logo好方法网

数据存储管理方法、查询方法、装置、电子设备及介质


技术摘要:
本发明涉及数据处理技术领域,具体是数据存储管理方法、查询方法、装置、电子设备及介质,所述数据存储管理方法包括:获取待缓存数据信息,所述待缓存数据信息包括待缓存数据的数据结构和内存地址;基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值,  全部
背景技术:
随着互联网技术的不断发展,产生了各种各样的以计算机模拟环境为基础的、用 户在其中生活、交流的网络世界(或虚拟平台)。当前,在线直播越来越受到用户的喜爱,由 于其具有强大的传播性、互动性,在线直播逐渐成为互联网的主流表达方式。 随着在线直播数据的爆炸式增长,数据的维度也随之在激增,用户对数据的访问 速度要求也越来越高,基于传统的文件系统和关系型数据库对这些数据的存储、分析、访问 等操作都受到了极大的限制。 现有技术中,主要采用键-值缓存存储系统或者关系数据库存储系统存储数据来 解决海量多维数据的存储和访问的问题。在键-值缓存存储系统中,数据以键-值(key- value)形式存于内存,输入键值key即可查询返回其对应的值value;可以通过多个key对应 多个value的方式,实现多维度快速查询,但是数据需要存储多份,多份数据之间同步会存 在问题。在关系数据库存储系统中,采用了关系模型来组织数据,以关系表形式存储数据 集,虽然数据只需存储一份,但是数据访问速度会随数据容量增大而变慢。
技术实现要素:
针对现有技术的上述问题,本发明的目的在于提供数据存储管理方法、查询方法、 装置、电子设备及介质,能够实现多维度快速查询数据,并且提高数据查询效率。 为了解决上述问题,本发明提供一种数据存储管理方法,包括: 获取待缓存数据信息,所述待缓存数据信息包括待缓存数据的数据结构和内存地 址; 基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应的键值,生成键 值集合; 基于所述待缓存数据的内存地址生成与所述待缓存数据对应的虚拟键值; 建立所述键值集合与所述虚拟键值的映射关系,生成一级索引; 建立所述虚拟键值与所述待缓存数据的映射关系,生成二级索引。 本发明另一方面保护一种数据查询方法,包括: 接收数据查询请求,所述数据查询请求包括第一查询数据; 基于所述第一查询数据生成具有目标结构的键值信息; 查询所述键值信息对应的一级索引,得到与所述键值信息对应的虚拟键值信息, 所述一级索引存储有数据的键值集合与数据的虚拟键值的映射关系; 查询所述虚拟键值信息对应的二级索引,得到与所述虚拟键值信息对应的目标数 据,所述二级索引存储有数据的虚拟键值与数据的映射关系; 4 CN 111611225 A 说 明 书 2/11 页 返回与所述虚拟键值信息对应的目标数据。 本发明另一方面保护一种数据存储管理装置,包括: 获取模块,用于获取待缓存数据信息,所述待缓存数据信息包括待缓存数据的数 据结构和内存地址; 确定模块,用于基于所述待缓存数据的数据结构确定多个与所述待缓存数据对应 的键值,生成键值集合; 第一生成模块,用于基于所述待缓存数据的内存地址生成与所述待缓存数据对应 的虚拟键值; 第一建立模块,用于建立所述键值集合与所述虚拟键值的映射关系,生成一级索 引; 第二建立模块,用于建立所述虚拟键值与所述待缓存数据的映射关系,生成二级 索引。 本发明另一方面保护一种数据查询装置,包括: 第一接收模块,用于接收数据查询请求,所述数据查询请求包括第一查询数据; 第二生成模块,用于基于所述第一查询数据生成具有目标结构的键值信息; 第一查询模块,用于查询所述键值信息对应的一级索引,得到与所述键值信息对 应的虚拟键值信息,所述一级索引存储有数据的键值集合与数据的虚拟键值的映射关系; 第二查询模块,用于查询所述虚拟键值信息对应的二级索引,得到与所述虚拟键 值信息对应的目标数据,所述二级索引存储有数据的虚拟键值与数据的映射关系; 第一发送模块,用于返回与所述虚拟键值信息对应的目标数据。 本发明另一方面保护一种电子设备,所述电子设备包括处理器和存储器,所述存 储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器 加载并执行以实现如上述的方法。 本发明另一方面保护一种计算机存储介质,所述计算机存储介质中存储有至少一 条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如 上述的方法。 由于上述技术方案,本发明具有以下有益效果: 本发明的方法在键-值数据库缓存数据时,根据待缓存数据的数据结构、内存地址 及字段信息生成与所述待缓存数据对应的键值集合和虚拟键值,并建立所述键值集合与所 述虚拟键值、所述虚拟键值与所述待缓存数据之间的两级索引,形成多索引单值的数据结 构,使得查询数据时,可以通过任一索引直接检索出所述待缓存数据,中间无需转换成指定 索引,实现多维度快速查询数据,并且提高数据查询效率。另外,本发明的方法使用键-值数 据库缓存数据,并且不存储多分冗余信息,能够节省存储空间,减少数据库的负载。 附图说明 为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要 使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对 于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其 它附图。 5 CN 111611225 A 说 明 书 3/11 页 图1是本发明一个实施例提供的实施环境示意图; 图2是本发明一个实施例提供的数据存储管理方法的流程图; 图3是本发明一个实施例提供的数据结构模型的示意图; 图4是本发明一个实施例提供的数据结构模型中的数据结构的示意图; 图5是本发明一个实施例提供的数据查询方法的流程图; 图6是本发明一个实施例提供的键值集合与虚拟键值的映射关系示意图; 图7是本发明一个实施例提供的虚拟键值与数据的映射关系示意图; 图8是本发明另一个实施例提供的数据查询方法的流程图; 图9是本发明一个实施例提供的虚拟键值与键值集合的映射关系示意图; 图10是本发明一个实施例提供的数据存储管理装置的结构示意图; 图11是本发明一个实施例提供的数据查询装置的结构示意图; 图12是本发明一个实施例提供的服务器的结构示意图。
下载此资料需消耗2积分,
分享到:
收藏