logo好方法网

用于提升数据质量的数据治理方法


技术摘要:
本发明公开了一种用于提升数据质量的数据治理方法、装置、设备及存储介质,该方法包括:采集指定数据库表的元数据为当前元数据,并对比当前元数据及预设的有效性规则;其中,当前元数据包括技术元数据和业务元数据;如果当前元数据符合所述有效性规则,则确定当前元数  全部
背景技术:
在数据时代,对于银行等企业来说,如果没有数据治理,任何元数据管理方案注定 都会失败;具体来说,元数据管理可作为一项重要功能,让IT部门得以管理复杂数据集成环 境中的变化,同时交付可信、安全的数据;当业务利益相关方参与这一进程并接受对数据参 考框架的责任,其优势将变得更有说服力,此时,企业就能将业务元数据与基层的技术元数 据进行关联,为全公司范围内的协作提供词汇表和背景资料等信息。所以数据治理对于银 行等企业来说是很重要的,但是现有技术中并没有一种能够有效实现数据治理的技术方 案。
技术实现要素:
本发明的目的是提供一种用于提升数据质量的数据治理方法、装置、设备及存储 介质,能够实现数据的有效治理。 为了实现上述目的,本发明提供如下技术方案: 一种用于提升数据质量的数据治理方法,包括: 采集指定数据库表的元数据为当前元数据,并对比当前元数据及预设的有效性规 则;其中,当前元数据包括技术元数据和业务元数据; 如果当前元数据符合所述有效性规则,则确定当前元数据具有有效性; 如果当前元数据不符合所述有效性规则,则指示相应负责人对当前元数据进行修 正,确定对当前元数据进行修正得到的元数据为当前元数据,返回执行对比当前元数据及 预先设置的有效性规则的步骤,直至确定当前元数据不符合所述有效性规则的次数达到次 数阈值为止。 优选的,采集指定数据库表的元数据为当前元数据之后,还包括: 判断当前元数据对应的实例数据是否存在数据缺失或者是否满足不同实例数据 之间具有的依赖关系,如果上述两项判断结果均为是,则确定当前元数据对应的实例数据 具有有效性,否则,指示相应负责人对当前元数据对应的实例数据进行修正。 优选的,采集指定数据库表的元数据为当前元数据之后,还包括: 判断当前元数据对应实例数据是否属于预设的敏感信息,如果是,则按照预设的 脱敏程序对所述敏感信息进行脱敏,如果否,则确定无需对当前元数据对应实例数据进行 脱敏。 优选的,还包括: 检查所述指定数据库表中是否存在重复的实例数据,如果是,则确定重复的实例 数据中任意一份实例数据为目标数据,并删除与所述目标数据重复的其他实例数据,如果 4 CN 111597177 A 说 明 书 2/10 页 否,则确定无需对所述实例数据进行删除。 优选的,还包括: 判断所述指定数据库表中的实例数据是否为指定时间、指定接口获取的且处于指 定范围内的数据,如果是,则确定所述实例数据可用,否则,确定所述实例数据不可用。 优选的,采集指定数据库表的元数据为当前元数据之后,还包括: 获取当前元数据及对应实例数据的地图信息,并将所述地图信息以可视化的方式 展示在预先绘制的数据地图中;其中,所述地图信息包括当前元数据及对应实例数据的流 向、引用关系及组织规则。 优选的,还包括: 确定与各个系统分别对应的唯一数据源,分析各个唯一数据源提供的数据之间存 在的联系,得到表示各个唯一数据源提供的数据之间的联系的关系图谱,并展示所述关系 图谱。 一种用于提升数据质量的数据治理装置,包括: 对比模块,用于:采集指定数据库表的元数据为当前元数据,并对比当前元数据及 预设的有效性规则;其中,当前元数据包括技术元数据和业务元数据; 第一处理模块,用于:如果当前元数据符合所述有效性规则,则确定当前元数据具 有有效性; 第二处理模块,用于:如果当前元数据不符合所述有效性规则,则指示相应负责人 对当前元数据进行修正,确定对当前元数据进行修正得到的元数据为当前元数据,返回执 行对比当前元数据及预先设置的有效性规则的步骤,直至确定当前元数据不符合所述有效 性规则的次数达到次数阈值为止。 一种用于提升数据质量的数据治理设备,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现如上任一项所述用于提升数据质量的数 据治理方法的步骤。 一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述 计算机程序被处理器执行时实现如上任一项所述用于提升数据质量的数据治理方法的步 骤。 本发明提供了一种用于提升数据质量的数据治理方法、装置、设备及存储介质,该 方法包括:采集指定数据库表的元数据为当前元数据,并对比当前元数据及预设的有效性 规则;其中,当前元数据包括技术元数据和业务元数据;如果当前元数据符合所述有效性规 则,则确定当前元数据具有有效性;如果当前元数据不符合所述有效性规则,则指示相应负 责人对当前元数据进行修正,确定对当前元数据进行修正得到的元数据为当前元数据,返 回执行对比当前元数据及预先设置的有效性规则的步骤,直至确定当前元数据不符合所述 有效性规则的次数达到次数阈值为止。本申请公开的技术方案中,在采集到指定数据库表 的元数据后,如果元数据不符合有效性规则,则指示相应负责人对元数据进行修正,并继续 判断修正后的元数据是否符合有效性规则,直至确定出元数据不符合有效性规则的次数达 到相应次数阈值为止;从而通过这种方式,保证包含有技术元数据及业务元数据的元数据 能够具有有效性,进而使得相应的数据具有业务有效性及技术有效性,提升数据质量,实现 5 CN 111597177 A 说 明 书 3/10 页 对数据有效性的高效治理。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。 图1为本发明实施例提供的一种用于提升数据质量的数据治理方法的流程图; 图2为本发明实施例提供的一种用于提升数据质量的数据治理方法中数据治理示 意图; 图3为本发明实施例提供的一种用于提升数据质量的数据治理方法中数据地图示 意图; 图4为本发明实施例提供的一种用于提升数据质量的数据治理装置的结构示意 图。
下载此资料需消耗2积分,
分享到:
收藏