
技术摘要:
本发明公开了一种数据校验方法、设备和存储介质,包括:按照预设的同一抽取条件,分别抽取源端中需校对源数据和复制端中需校对复制数据,并存储至校对数据库进行校对,直到所有源数据和所有复制数据被抽取完后,得到校对结果;若校对结果表示有差异,对校对结果进行迭 全部
背景技术:
当前信息化建设中,信息流往往以数据表等形式分散的存放在各系统的数据库 中,当要进行数据集成分析时就要进行数据复制后集成到统一数据库中。但是在利用复制 软件在进行数据的复制过程中,往往由于复制软件本身的缺陷或外部因素(例如:网络传 输,存储介质影响)并不能100%的保证数据的正确性,影响数据的可靠性。 现有技术中,通常采用控制数据处理系统中进行数据复制的相关设备进入停止状 态或者将数据进行锁定,使源端的源数据和复制端的复制数据均处与静态下,对源数据和 复制数据的进行校对,以便及时发现复制过程中出现的错误数据。 但是,源端会不间断的产生源数据,复制端不间断的对源数据进行复制,这就需要 处理系统中进行数据复制的相关设备需要在一个较长时间段内不停机,不间断运行,这样, 如果使源端的源数据和复制端的复制数据均处与静态后,再对源数据和复制数据的进行校 对,使得数据复制过程间断,从而降低了数据复制效率。
技术实现要素:
本发明的主要目的是提供一种数据校验方法、设备和存储介质,以解决现有技术 中处理推理任务的局限性较高的问题。 针对上述问题,第一方面,本发明提供了一种数据校验方法,包括: 按照预设的同一抽取条件,分别抽取源端中需校对源数据和复制端中需校对复制 数据,并存储至校对数据库进行校对,直到所述源端的所有源数据和所述复制端中的所有 复制数据被抽取完后,得到校对结果; 若所述校对结果表示有差异,对所述校对结果进行迭代检验,直到满足检验停止 条件后,得到检验结果; 若所述检验结果表示所述校对结果为真,确定所述源端的所有源数据与所述复制 端的所有复制数据不一致; 若所述检验结果表示所述校对结果为假,确定所述源端的所有源数据与所述复制 端的所有复制数据一致。 进一步地,上述所述的数据校验方法中,所述对校对结果进行迭代检验,直到满足 检验停止条件后,得到检验结果,包括: 将所述校对结果对应的差异数据存储至临时数据库,进行迭代检验,直到满足检 验停止条件后,得到检验结果; 在每次迭代检验过程中,分别抽取源端中与所述差异数据关联的关联源数据和所 述复制端中与所述差异数据关联的关联复制数据进行检验,直到遍历所述临时数据库中所 有差异数据后,得到当次检验结果; 4 CN 111611253 A 说 明 书 2/10 页 判断当次检验结果是否有差异; 若当次检验结果表示无差异,则确定校对结果为假作为所述检验结果; 若当次检验结果表示有差异,则判断当次迭代检验对应的迭代次数是否达到预设 次数; 若当次迭代检验对应的迭代次数未达到预设次数,则继续抽取临时数据库中差异 数据的关联源数据和差异数据的关联复制数据,进行下一次迭代检验; 若当次迭代检验对应的迭代次数达到预设次数,确定校对结果为真作为所述检验 结果。 进一步地,上述所述的数据校验方法中,所述预设次数为固定值,或,所述预设次 数根据源数据的产生速度和/或源数据的复制速度确定。 进一步地,上述所述的数据校验方法中,所述校对结果和所述当次检验结果均包 括相等、不等、缺少复制数据和复制数据多余中的至少一种; 若所述校对结果包括所述不等、所述缺少复制数据和所述复制数据多余中的至少 一种,则表示有差异; 若所述校对结果为所述相等,则表示无差异; 若所述当次检验结果包括所述不等、所述缺少复制数据和所述复制数据多余中的 至少一种,则表示有差异; 若所述当次检验结果为所述相等,则表示无差异。 进一步地,上述所述的数据校验方法中,所述相等为目标源数据的主键与目标复 制数据的主键相同,且所述目标源数据的数据内容与所述目标复制数据的数据内容相同; 所述不等为目标源数据的主键与目标复制数据的主键相同,所述目标源数据的数 据内容与所述目标复制数据的数据内容不相同; 所述缺少复制数据为目标源数据的主键与目标复制数据的主键不相同,且只存在 所述目标源数据的数据内容; 所述复制数据多余为目标源数据的主键与目标复制数据的主键不相同,且只存在 所述目标复制数据的数据内容; 其中,所述目标源数据包括所述需校对源数据或所述关联源数据;所述目标复制 数据包括所述需校对复制数据或所述关联复制数据。 进一步地,上述所述的数据校验方法中,所述确定所述源端的所有源数据与所述 复制端的所有复制数据不一致之后,还包括: 对所述复制端进行数据修复。 进一步地,上述所述的数据校验方法中,所述对所述复制端进行数据修复,包括: 若所述当次检验结果为不等,将当前差异数据与所述源端的源数据进行主键关 联,得到修复源数据,将所述目标修复源数据覆盖与所述修复源数据对应的被修复复制数 据; 若所述检验结果为缺少复制数据,将当前差异数据与所述源端的源数据进行主键 关联,得到所述目标修复源数据,将所述目标修复源数据插入所述复制端; 若所述检验结果为复制数据多余,向所述复制端发出删除指令,以便将多余复制 数据删除。 5 CN 111611253 A 说 明 书 3/10 页 进一步地,上述所述的数据校验方法,还包括: 将修复后的复制数据与源端的源数据进行校对,得到修复结果; 若修复结果表示修复成功,确定源端的所有源数据与复制端的所有复制数据一 致; 若修复结果表示修复失败,再次对复制端进行数据修复。 本发明还提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器 执行时实现如上任一项所述方法的步骤。 本发明还提供一种数据校验设备,其包括存储器和处理器,该存储器上存储有计 算机程序,所述计算机程序被处理器执行时实现如上谷任一项所述方法的步骤。 与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效 果: 应用本发明的数据校验方法、设备和存储介质,按照预设的同一抽取条件,分别抽 取源端中需校对源数据和复制端中需校对复制数据,并存储至校对数据库进行校对,直到 源端的所有源数据和复制端中的所有复制数据被抽取完后,得到校对结果,实现了数据处 理系统中进行数据复制的相关设备不必进入停止状态或者不必将数据进行锁定的情况下, 对源端的源数据和复制端的复制数据进行校对;并且在得到的校对结果表示有差异时,对 校对结果进行迭代检验,直到满足检验停止条件后,得到检验结果;若检验结果表示校对结 果为真,确定源端的所有源数据与复制端的所有复制数据不一致;若检验结果表示校对结 果为假,确定源端的所有源数据与复制端的所有复制数据一致。这样,即可保证最终校对结 果的准确性。采用本发明的技术方案,能够提高校对精度和数据复制效率。 本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得 显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要 求书以及附图中所特别指出的结构来实现和获得。 附图说明 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实 施例共同用于解释本发明,并不构成对本发明的限制。在附图中: 图1为本发明的数据校验方法实施例的流程图; 图2为图1的步骤102中对校对结果进行迭代检验时单次迭代检验的流程图; 图3为本发明的数据校验装置实施例的结构示意图; 图4为本发明的数据校验设备实施例的结构示意图。