
技术摘要:
本申请适用于数据处理技术领域,提供一种数据处理方法、数据处理装置及终端,其中数据处理方法包括:解析目标XML文件,获取目标XML文件中所包含的目标特征数据;根据目标特征数据,在判断数据容器中数据量将超出阈值的情况下,将数据容器中已存储的特征数据写入至数据 全部
背景技术:
可扩展标记语言(eXtensible Markup Language,XML)是一种通用的数据交换格 式,它的平台无关性、语言无关性、系统无关性等特性,给数据集成与交互带来了极大的方 便。常见的一些第三方数据公司,采用XML方式来存储个人或机构的有效数据,在对该些有 效数据进行读取时需要通过XML文件解析来实现。 对于XML文件解析,通常情况下都会选择SAX(Simple API for XML,可扩展标记语 言的简单应用程序接口)解析方法。该方法在实施时为逐行扫描XML文档,一边扫描一边解 析,实现对XML文件中所存储数据的获取。该种数据解析方法通过改善对XML文件进行内容 读取、加载及解析操作之间的协调关系可以有效避免数据处理过程中的内存溢出。 但是对于比较大的XML文件,在对其进行解析时,随着内容解析的逐步进行,解析 得到的数据会出现数据量大幅度增加的情况,此时解析得到的数据通常会发生数据堆积, 导致解析得到的数据在短时间内容严重占据内存,内存无法得到及时释放,同样会造成内 存溢出的问题。
技术实现要素:
本申请实施例提供了一种数据处理方法、数据处理装置及终端,以解决现有SAX解 析方法,对于比较大的XML文件,解析得到的数据会发生数据堆积,导致解析得到的数据在 短时间内容严重占据内存,内存无法得到及时释放,造成内存溢出的问题。 本申请实施例的第一方面提供了一种数据处理方法,包括: 解析目标可扩展标记语言XML文件,获取目标XML文件中所包含的目标特征数据; 根据所述目标特征数据,在判断数据容器中数据量将超出阈值的情况下,将所述 数据容器中已存储的特征数据写入至数据库中,并清除所述数据容器中的所述特征数据; 将所述目标特征数据存储至数据清除后的所述数据容器中; 返回执行所述解析目标可扩展标记语言XML文件,获取目标XML文件中所包含的目 标特征数据的步骤,直至所述目标XML文件被解析完毕。 本申请实施例的第二方面提供了一种数据处理装置,包括: 解析模块,用于解析目标可扩展标记语言XML文件,获取目标XML文件中所包含的 目标特征数据; 数据处理模块,用于根据所述目标特征数据,在判断数据容器中数据量将超出阈 值的情况下,将所述数据容器中已存储的特征数据写入至数据库中,并清除所述数据容器 中的所述特征数据; 存储模块,用于将所述目标特征数据存储至数据清除后的所述数据容器中; 4 CN 111723244 A 说 明 书 2/10 页 循环执行模块,用于返回执行所述解析目标可扩展标记语言XML文件,获取目标 XML文件中所包含的目标特征数据的步骤,直至所述目标XML文件被解析完毕。 本申请实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在所述 存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现 如第一方面所述方法的步骤。 本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储 介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述方法的步 骤。 本申请的第五方面提供了一种计算机程序产品,当所述计算机程序产品在终端上 运行时,使得所述终端执行上述第一方面所述方法的步骤。 由上可见,本申请实施例中,通过解析目标XML文件获取目标特征数据,在判断数 据容器中数据量将超出阈值的情况下,将数据容器中已存储的特征数据写入至数据库中, 并清除数据容器中的特征数据,将目标特征数据存储至数据清除后的数据容器中,并循环 执行文件解析及存储过程,直至目标XML文件被解析完毕。该过程中,设置了一个数据容器, 在从XML文件中解析出特征数据之后,实现在将特征数据写入数据库之前对特征数据进行 暂时存储,可以避免频繁在数据库中进行数据的写入操作,同时降低解析得到的数据的逐 渐递增对数据处理过程的影响,避免一次性对XML文件进行全部读取造成的数据溢出,实现 对数据逐条解析的过程中可能出现的数据溢出进行规避,提升读写性能。 附图说明 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些 实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些 附图获得其他的附图。 图1是本申请实施例提供的一种数据处理方法的流程图一; 图2是本申请实施例提供的一种数据处理方法的流程图二; 图3是本申请实施例提供的一种数据处理装置的结构图; 图4是本申请实施例提供的一种终端的结构图。