logo好方法网

数据监控方法、装置、计算机设备及存储介质


技术摘要:
本发明公开一种数据监控方法、装置、计算机设备及存储介质,该数据监控方法包括获取大规模数据监控请求,所述大规模数据监控请求包括至少一个监控标识;调入监控标识对应的数据源,形成所述监控标识对应的监控配置表;所述监控配置表中包括至少一个监控标识对应的待监  全部
背景技术:
数据质量是数据挖掘领域的重要基础,数据特征的正确性、稳定性会直接影响算 法结果。目前常基于hadoop平台进行大数据分析及数据挖掘。而hdfs(Hadoop  Distributed  File  System,Hadoop分布式文件系统)数据存储相对于传统关系型数据的强类型而言,较 为弱化,对算法也形成较大挑战。 目前,基于hadoop平台的大规模数据监控,主要通过编写hive脚本程序的方式,把 需要监控的内容固定写如hive程序中,以实现对应功能或者模块的监控存在以下问题:难 以大规模应用,针对大规模的监控,需要开发大量的hive监控程序,且各监控程序互相之间 独立,不易维护和管理,导致监控数据质量的整合性和兼容性较差。
技术实现要素:
本发明实施例提供一种数据监控方法、装置、计算机设备及存储介质,以解决当前 监控数据质量的整合性和兼容性差的问题。 一种数据监控方法,包括: 获取大规模数据监控请求,所述大规模数据监控请求包括至少一个监控标识; 调入监控标识对应的数据源,形成所述监控标识对应的监控配置表;所述监控配 置表中包括至少一个监控标识对应的待监控数据以及与所述待监控数据对应的数据输出 格式; 将所述待监控数据对应的待监控数据格式与所述数据输出格式进行对比,获取对 比结果; 提取所述对比结果为警报的待监控数据,形成与所述监控标识对应的监控结果 表; 将所述监控结果表发送给所述监控标识对应的监控端。 一种数据监控装置,包括: 监控请求获取模块,用于获取大规模数据监控请求,所述大规模数据监控请求包 括至少一个监控标识; 监控配置表生成模块,用于调入监控标识对应的数据源,形成所述监控标识对应 的监控配置表;所述监控配置表中包括至少一个监控标识对应的待监控数据以及与所述待 监控数据对应的数据输出格式; 对比结果获取模块,用于将所述待监控数据对应的待监控数据格式与所述数据输 出格式进行对比,获取对比结果; 监控结果表获取模块,用于提取所述对比结果为警报的待监控数据,形成与所述 4 CN 111581048 A 说 明 书 2/8 页 监控标识对应的监控结果表; 监控结果发送模块,用于将所述监控结果表发送给所述监控标识对应的监控端。 一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理 器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据监控方法的步 骤。 一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序 被处理器执行时实现上述数据监控方法的步骤。 上述数据监控方法、装置、计算机设备及存储介质中,通过获取大规模数据监控请 求,以便监控平台根据至少一个监控标识,调入与监控标识对应的数据源,形成监控标识对 应的监控配置表,实现同时监控多个数据源,无需为不同的数据源重新开发对应的监控程 序,提高数据监控的整合性和兼容性。然后,将待监控数据对应的待监控数据格式与数据输 出格式进行对比,获取对比结果,以便监控平台提取对比结果为警报的待监控数据,形成与 监控标识对应的监控结果表;最后,将监控结果表发送给监控标识对应的监控端,以便用户 可直观查看监控过程中发现的异常数据并进行相应的处理。 附图说明 为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所 需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施 例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图 获得其他的附图。 图1是本发明一实施例中数据监控方法的一应用环境示意图; 图2是本发明一实施例中数据监控方法的一流程图; 图3是图2中步骤S20的一具体流程图; 图4是图2中步骤S30的一具体流程图; 图5是本发明一实施例中数据监控方法的一流程图; 图6是本发明一实施例中数据监控方法的一流程图; 图7是本发明一实施例中数据监控方法的一流程图; 图8是本发明一实施例中数据监控装置的一示意图; 图9是本发明一实施例中计算机设备的一示意图。
下载此资料需消耗2积分,
分享到:
收藏