logo好方法网

数据检测方法、装置、计算机设备和存储介质


技术摘要:
本申请涉及一种数据检测方法、装置、计算机设备和存储介质。方法包括:接收数据检测指令;当从源数据库抽取数据至目标数据库之后,获取与所抽取数据对应的目标数据表信息和源数据表信息;对所述目标数据表信息和所述源数据表信息进行对比;若所述目标数据表信息中的目  全部
背景技术:
随着信息技术的发展,不同的数据平台之间经常集成和复用数据。但是在不同的 数据平台之间抽取和复用数据时经常出现数据抽取不完整和数据抽取错误的问题。
技术实现要素:
基于此,有必要针对上述技术问题,提供一种能够检测数据平台之间相互抽取的 数据是否完整的数据检测方法、装置、计算机设备和存储介质。 一种数据检测方法,所述方法包括: 接收数据检测指令; 当从源数据库抽取数据至目标数据库之后,获取与所抽取数据对应的目标数据表 信息和源数据表信息; 对所述目标数据表信息和所述源数据表信息进行对比; 若所述目标数据表信息中的目标字段信息和所述源数据表信息中的源字段信息 不一致,则确定从所述源数据表重新抽取数据至目标数据表; 若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息的行数和所 述源数据表信息的行数不一致,则确定从所述源数据表中抽取缺失行的数据至目标数据 表。 在一个实施例中,所述方法还包括: 若所述目标数据表信息中的目标字段信息和所述源数据表信息中的源字段信息 不一致,对所述目标数据表信息对应的目标数据表标记为待重新抽取的数据表; 若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息的行数和所 述源数据表信息的行数不一致,则对所述目标数据表标记为所抽取数据的行出现缺失的数 据表。 在一个实施例中,所述方法还包括: 若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息的行数和所 述源数据表信息的行数不一致,则根据目标数据表信息中的目标主键信息获取目标主键数 据,根据源数据表信息中的源主键信息获取源主键数据; 对所述目标主键数据和所述源主键数据进行对比; 若所述源主键数据中存在与所述目标主键数据不匹配的主键数据时,根据所述不 匹配的主键数据确定缺失行; 确定从所述源数据表中抽取所述缺失行的数据至目标数据表。 在一个实施例中,所述方法还包括: 4 CN 111581217 A 说 明 书 2/12 页 当从源数据库抽取数据至目标数据库之后,根据所述源数据表生成源数据表信 息,根据所述目标数据表生成目标数据表信息; 将所述源数据表信息和所述目标数据表信息存储于监测数据表; 所述获取与所抽取数据对应的目标数据表信息和源数据表信息包括: 从所述监测数据表中获取与所抽取数据对应的目标数据表信息和源数据表信息。 在一个实施例中,所述将所述源数据表信息和所述目标数据表信息存储于监测数 据表包括: 将所述目标数据表信息转换为目标格式的目标数据表信息,并存入监测数据表; 将所述源数据表信息转换为目标格式的源数据表信息,并存入所述监测数据表。 在一个实施例中,所述对所述目标数据表信息和所述源数据表信息进行对比,还 包括: 若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息的行数和所 述源数据表信息的行数一致,则确定所述源数据表信息对应的数据抽取成功。 一种数据检测装置,所述装置包括: 接收模块,用于接收数据检测指令; 获取模块,当从源数据库抽取数据至目标数据库之后,用于获取与所抽取数据对 应的目标数据表信息和源数据表信息; 对比模块,用于对所述目标数据表信息和所述源数据表信息进行对比; 确定模块,若所述目标数据表信息中的目标字段信息和所述源数据表信息中的源 字段信息不一致,则用于确定从所述源数据表重新抽取数据至目标数据表; 所述确定模块,若所述目标字段信息和所述源字段信息一致、且所述目标数据表 信息的行数和所述源数据表信息的行数不一致,则还用于确定从所述源数据表中抽取缺失 行的数据至目标数据表。 在一个实施例中,所述装置还包括: 标记模块,若所述目标数据表信息中的目标字段信息和所述源数据表信息中的源 字段信息不一致,用于对所述目标数据表信息对应的目标数据表标记为待重新抽取的数据 表; 所述标记模块,若所述目标字段信息和所述源字段信息一致、且所述目标数据表 信息的行数和所述源数据表信息的行数不一致,则对所述目标数据表标记为所抽取数据的 行出现缺失的数据表。 在一个实施例中,所述装置还包括: 获取模块,若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息 的行数和所述源数据表信息的行数不一致,则根据目标数据表信息中的目标主键信息获取 目标主键数据,根据源数据表信息中的源主键信息获取源主键数据; 对比模块,用于对所述目标主键数据和所述源主键数据进行对比; 所述确定模块,若所述源主键数据中存在与所述目标主键数据不匹配的主键数据 时,用于根据所述不匹配的主键数据确定缺失行; 所述确定模块,还用于确定从所述源数据表中抽取所述缺失行的数据至目标数据 表。 5 CN 111581217 A 说 明 书 3/12 页 在一个实施例中,所述装置还包括: 生成模块,当从源数据库抽取数据至目标数据库之后,用于根据所述源数据表生 成源数据表信息,根据所述目标数据表生成目标数据表信息; 存储模块,用于将所述源数据表信息和所述目标数据表信息存储于监测数据表; 所述获取与所抽取数据对应的目标数据表信息和源数据表信息包括: 所述获取模块,用于从所述监测数据表中获取与所抽取数据对应的目标数据表信 息和源数据表信息。 在一个实施例中,所述存储模块,还用于: 将所述目标数据表信息转换为目标格式的目标数据表信息,并存入监测数据表; 将所述源数据表信息转换为目标格式的源数据表信息,并存入所述监测数据表。 在一个实施例中,所述对比模块,还用于: 若所述目标字段信息和所述源字段信息一致、且所述目标数据表信息的行数和所 述源数据表信息的行数一致,则确定所述源数据表信息对应的数据抽取成功。 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在 于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。 一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序 被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。 上述实施例中,计算机设备通过对源数据表信息和目标数据表信息进行对比来判 断从源数据库中抽取的数据是否完整。首先,计算机设备通过对字段信息的对比来判断抽 取的数据表中的列是否有缺失,数据类型是否正确。如果数据表中的列有缺失或者数据类 型不正确,则计算机设备重新抽取对应的数据表。然后计算机设备通过对行数进行对比来 判断目标数据库中抽取的数据表中的行是否完整。如果不完整,则对从目标主键信息和源 主键信息中获取的目标主键数据和源主键数据进行对比,通过对比结果定位到缺失的行, 并重新抽取相应行的数据。计算机设备通过对数据表信息进行对比,并且根据对比结果重 新抽取缺失的数据,保证了抽取的数据的完整性,提高了数据复用的质量。 附图说明 图1为一个实施例中数据检测方法的应用环境图; 图2为一个实施例中数据检测方法的流程示意图; 图3为另一个实施例中数据检测方法的流程示意图; 图4为一个实施例中数据检测装置的结构框图; 图5为另一个实施例中数据检测装置的结构框图; 图6为一个实施例中计算机设备的内部结构图; 图7为另一个实施例中计算机设备的内部结构图。
分享到:
收藏