logo好方法网

数据分析预警方法、装置、计算机系统及可读存储介质


技术摘要:
本发明公开了数据分析预警方法、装置、计算机系统及可读存储介质,基于大数据,对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标;获得任一时间段的API指标形成API指标集,根据API指标集中各时间区间的API指标绘制得到折线图;在折线图中设置用于生成  全部
背景技术:
数据处理系统用于对业务请求进行任务处理,在任务处理过程中很容易因业务请 求的内容不正确、或业务请求与数据处理系统不匹配、或处理业务请求时服务器的状态不 佳等情况,造成数据处理系统无法正常运行。 为解决上述问题,目前市面上提供了一系列对数据处理系统的监控方法,其主要 通过采集数据处理系统在处理业务请求时所生成的指标,并针对该指标设定阈值,一旦指 标超过了该阈值将生成报警信号的方法,对数据处理系统的运行进行监控,以保证检测人 员能够数据处理系统在无法运行之前对其进行维护及修复。 然而,上述指标在超过阈值之前,可能因业务请求的内容不正确、或业务请求与数 据处理系统不匹配、或处理业务请求时服务器的状态不佳等情况,已经在数据处理系统中 埋下了隐患;但由于目前的监控手段仍停留在阈值管理阶段,因此只能在隐患已成危害之 时才对数据处理系统进行维护修复,而无法在埋下隐患之时,及时发现并消除隐患。
技术实现要素:
本发明的目的是提供一种数据分析预警方法、装置、计算机系统及可读存储介质, 用于解决现有技术存在的由于目前的监控手段仍停留在阈值管理阶段,因此只能在隐患已 成危害之时才对数据处理系统进行维护修复,而无法在埋下隐患之时,及时发现并消除隐 患的问题。 为实现上述目的,本发明提供一种数据分析预警方法,包括以下步骤: 对数据处理系统的调用接口进行埋点以获得预设的时间区间内的API指标,所述 API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失败率的特征数据; 获取任一时间段的API指标形成API指标集,根据API指标集中各时间区间的各API 指标绘制得到折线图; 在所述折线图中设置用于生成分析信息的控制线和中心线,根据所述折线图与控 制线和中心线之间的位置关系生成分析信息; 将与所述分析信息对应的时间段设为分析时间段,从预设的数据库中提取处于所 述分析时间段的业务数据和系统数据,并将其发送用户端。 上述方案中,所述对数据处理系统的调用接口进行埋点以获得预设的时间区间内 的API指标的步骤,包括: 创建API数据库并设立API埋点策略; 根据所述API埋点策略对所述调用接口进行埋点以获得API数据,并将所述API数 据储存至所述API数据库; 4 CN 111580894 A 说 明 书 2/12 页 按照预设的时间区间提取并汇总API数据形成API集合,计算所述API集合中API数 据的均值、成功率及失败率获得API指标。 上述方案中,所述计算所述API集合中API数据的均值、成功率及失败率获得API指 标的步骤,包括: 将所述API集合中API数据的响应时间相加求和获得API集合总时间,将所述API集 合总时间与所述API集合中API数据的数量相除获得响应时间均值; 将所述API集合中响应成功的响应结果,与该集合中响应结果的总数相除获得响 应成功率; 将API集合中重合度最高的错误原因的数量,与该集合中错误原因的总数量相除 获得高度重合失败率; 汇总所述响应时间均值、响应成功率和高度重合失败率形成API指标,并将其储存 至API数据库中。 上述方案中,所述根据API指标集中各时间区间的各API指标绘制得到折线图的步 骤,包括: 将API指标集中API指标的时间区间作为横坐标,分别将API指标集中API指标的响 应时间均值、响应成功率和高度重合失败率作为纵坐标,在坐标图上标注坐标点,及通过直 线依次连接所述坐标点获得折线图。 上述方案中,根据所述折线图与控制线和中心线之间的位置关系生成分析信息的 步骤,包括: 提取所述折线图上各顶点的位置,并将其依次与所述控制线和中心线进行比对; 若所述折线图具有超过所述控制线的顶点,或所述折线图中位于中心线上方的顶 点数量大于或等于预设的中心预警数,或所述折线图中负斜率线段的数量大于或等于预设 的控制预警数,则生成分析信息。 上述方案中,所述预设的数据库通过以下步骤获得: 创建业务数据库和系统数据库并设立业务埋点策略和系统埋点策略; 根据所述业务埋点策略对数据处理系统的业务端口进行埋点以获取业务数据,根 据所述系统埋点策略对运行数据处理系统的系统程序进行埋点以获取系统数据; 将获得业务数据的时间设为业务时间并将其与所述业务数据关联,及将所述业务 数据储存至所述业务数据库;将获得系统数据的时间设为系统时间并将其与所述系统数据 关联,及将所述系统数据储存至所述系统数据库。 上述方案中,所述从预设的数据库中提取处于所述分析时间段的业务数据和系统 数据的步骤,包括: 获取处于所述分析时间段的业务时间和系统时间,并将其设为业务分析时间和系 统分析时间; 从业务数据库中提取与所述业务分析时间关联的业务数据,从系统数据库中提取 与所述系统分析时间关联的系统数据。 为实现上述目的,本发明还提供一种数据分析预警装置,包括: 指标生成模块,用于对数据处理系统的调用接口进行埋点以获得预设的时间区间 内的API指标,所述API指标是描述所述调用接口响应时间均值、响应成功率和高度重合失 5 CN 111580894 A 说 明 书 3/12 页 败率的特征数据; 折线图生成模块,用于获得任一时间段的API指标形成API指标集,根据API指标集 中各时间区间的各API指标绘制得到折线图; 预警模块,用于在所述折线图中设置用于生成分析信息的控制线和中心线,根据 所述折线图与控制线和中心线之间的位置关系生成分析信息; 数据发送模块,用于将与所述分析信息对应的时间段设为分析时间段,从预设的 数据库中提取处于所述分析时间段的业务数据和系统数据,并将其发送用户端。 为实现上述目的,本发明还提供一种计算机系统,其包括多个计算机设备,各计算 机设备包括存储器.处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述 多个计算机设备的处理器执行所述计算机程序时共同实现上述数据分析预警方法的步骤。 为实现上述目的,本发明还提供一种计算机可读存储介质,其包括多个存储介质, 各存储介质上存储有计算机程序,所述多个存储介质存储的所述计算机程序被处理器执行 时共同实现上述数据分析预警方法的步骤。 本发明提供的数据分析预警方法、装置、计算机系统及可读存储介质,通过对数据 处理系统的调用接口进行埋点以获得预设的时间区间内的API指标,汇总任一时间段的API 指标形成API指标集,根据API指标集中各时间区间的API指标得到折线图;在所述折线图中 设置用于生成分析信息的控制线和中心线,根据所述折线图与控制线和中心线之间的位置 关系生成分析信息;以及时准确的识别数据处理系统在处理业务请求时的隐患,并通过分 析信息告知检测人员消除该隐患以保证数据处理系统的正常运行;将与所述分析信息对应 的时间段设为分析时间段,从预设的数据库中提取处于所述分析时间段的业务数据和系统 数据,并将其发送用户端;通过将业务数据和系统数据发送用户端,以帮助检测人员识别数 据处理系统处理业务请求时的隐患来源和隐患原因,进一步的提高了数据处理系统维护修 复效率和效果。 附图说明 图1为本发明数据分析预警方法实施例一的流程图; 图2为本发明数据分析预警方法实施例一的数据分析预警方法的环境应用示意 图; 图3为本发明数据分析预警方法实施例一的S1中获得预设的时间区间内的API指 标的流程图; 图4为本发明数据分析预警方法实施例一的S103中获得API指标的流程图; 图5为本发明数据分析预警方法实施例一的S3中生成分析信息的流程图; 图6为本发明数据分析预警方法实施例一的S4中获得预设的数据库的流程图; 图7为本发明数据分析预警方法实施例一的S4中提取处于所述分析时间段的业务 数据和系统数据的流程图; 图8为本发明数据分析预警装置实施例二的程序模块示意图; 图9为本发明计算机系统实施例三中计算机设备的硬件结构示意图。 附图标记: 1、数据分析预警装置2、服务器3、网络4、用户端 6 CN 111580894 A 说 明 书 4/12 页 5、计算机设备11、指标生成模块12、折线图生成模块 13、预警模块14、数据发送模块51、存储器52、处理器
分享到:
收藏