logo好方法网

一种样本数据的处理方法、系统及装置


技术摘要:
本发明公开了一种样本数据的处理方法、系统及装置,涉及通信技术领域。样本数据的处理方法包括:从数据库中获取至少一个目标网络在多个时间点的告警数据、故障数据和配置数据,并分别转换为相应的向量;为至少一个目标网络构建一个多层高维空间,包括每个目标网络的告  全部
背景技术:
光网络设备的当前性能指标越限或者一些潜在性能正在劣化时,会产生一系列的 告警数据并上报给网管平台。当光网络设备出现故障时,则会同时产生告警数据和故障数 据并上报。目前,运维专家通过分析告警数据和故障数据,定位故障发生位置,制定故障修 复策略,然后通过管理平台和控制平台下发相应的配置数据到故障发生位置进行修复,必 要时触发保护倒换以保证光网络的正常运行。 随着光网络规模日益增大,光网络设备不断增多,光网络产生的告警数据和故障 数据数量越来越多,网络故障的定位和修复日趋复杂和费力,传统的故障处理模式面监巨 大挑战,难以满足实际需要。特别是随着通信业务的飞速发展,通信技术的不断演进和变 革,传统紧耦合、刚性网络架构转型为松耦合、灵活的云化网络架构是大势所趋。云化网络 底层由光网络设备实现数据转发,中上层通过控制平台、管理平台、编排平台实现资源和业 务的管理控制,系统运营和维护过程更加复杂,需要实现网络数据融合表示,高效提取数据 操作和运算,以解决云化网络出现故障后难以及时恢复的问题。 采用人工智能技术对网络故障进行分析和修复是应对这些挑战的有效方案。但 是,一方面,现有的面向运维专家的告警数据、故障数据和配置数据均包括各种类型的字 段,例如告警开始时间、网元类型和中央处理器(Central  Processing  Unit,CPU)的内核数 量等。这些异构数据不能直接用作面向机器学习的样本数据;另一方面,由于网络数据数量 巨大以及各种类型网络具有差异等因素,导致无法根据机器学习的需求灵活地提取所需的 样本数据。因此,迫切需要灵活、有效的样本数据处理方法,以满足机器学习模型测试和分 析的需要。
技术实现要素:
本发明实施例的目的在于提供一种样本数据的处理方法、系统及装置,将面向运 维专家的光网络的配置数据、告警数据和故障数据转换为面向机器学习的样本数据,并提 高样本数据的存储效率,实现异厂商的跨域样本数据的互通和共享。 第一方面,本发明实施例提供一种样本数据的处理方法,其包括: 从数据库中获取至少一个目标网络在多个时间点的告警数据、故障数据和配置数 据,并分别转换为相应的向量; 为至少一个目标网络构建一个多层高维空间,包括每个目标网络的告警数据层、 故障数据层和配置数据层;其中,每一层均为具有相同维度的二维矩阵,用于根据所述时间 点的先后顺序按行存储所述转换得到的向量。 结合第一方面,在第一种可选的实现方式中,所述方法还包括:从所述告警数据层 和故障数据层提取机器学习模型的输入向量,从所述配置数据层提取机器学习模型的输出 4 CN 111600735 A 说 明 书 2/11 页 向量。 在第一方面的第一种可选的实现方式中,对所述告警数据层和故障数据层依次进 行模展开和按行向量展开,得到所述输入向量;对所述配置数据层依次进行模展开和按行 向量展开,得到所述输出向量。 在第一方面的第二种可选的实现方式中,从所述多层高维空间中提取包括目标数 据的子空间,子空间包括所述告警数据层、故障数据层和配置数据层中的至少一个子矩阵; 对所述子空间依次进行模展开和按行向量展开,得到所述输入向量和/或输出向 量。 其中,一种可选的实现方式中,通过子空间切分算子对所述多层高维空间进行切 分后得到所述子空间; 通过第一模展开操作算子对所述模展开矩阵按行向量展开得到所述输入向量; 和/或,通过第二模展开操作算子对所述模展开矩阵按行向量展开得到所述输出向量。 结合第一方面第三种可选的实现方式,根据所述时间点的先后顺序,在二维的空 矩阵中按行存储所述转换得到的向量,以分别得到每个所述目标网络的告警矩阵、故障矩 阵和配置矩阵; 将所述告警矩阵、故障矩阵和配置矩阵分别存储在所述多层高维空间的告警数据 层、故障数据层和配置数据层,每一层中没有存储数值的矩阵元素填充零值。 结合第一方面第四种可选的实现方式,所述转换得到的向量为基础向量与量纲扩 展向量的hadamard积,其中,基础向量的每个元素为一个所述时间点的告警数据、故障数据 或者配置数据中一个字段的数值,量纲扩展向量的元素为所述基础向量的相应元素的扩大 或者缩小倍数。 第二方面,本发明实施例提供一种样本数据的处理系统,其包括: 转换模块,其用于从数据库中获取至少一个目标网络在多个时间点的告警数据、 故障数据和配置数据,并分别转换为相应的向量; 空间构建模块,其用于为至少一个目标网络构建一个多层高维空间,包括每个目 标网络的告警数据层、故障数据层和配置数据层;其中,每一层均为具有相同维度的二维矩 阵,用于根据所述时间点的先后顺序按行存储所述转换得到的向量。 结合第二方面,在第一种可选的实现方式中,所述系统还包括: 提取模块,其用于从所述告警数据层和故障数据层提取机器学习模型的输入向 量,从所述配置数据层提取机器学习模型的输出向量。 在第二方面的第一种可选的实现方式中,所述提取模块包括: 子矩阵处理单元,其用于从所述多层高维空间中提取出包括目标数据的子空间, 子空间包括所述告警数据层、故障数据层和配置数据层的至少一个子矩阵; 矩阵运算单元,其用于对所述告警数据层和故障数据层依次进行模展开和按行向 量展开,得到所述输入向量;对所述配置数据层依次进行模展开和按行向量展开,得到所述 输出向量;以及对所述子空间依次进行模展开和按行向量展开,得到所述输入向量和/或输 出向量。 结合第二方面,在第二种可选的实现方式中,所述构建模块包括: 矩阵预处理单元,其用于根据所述时间点的先后顺序,在二维的空矩阵中按行存 5 CN 111600735 A 说 明 书 3/11 页 储数据来源相同的所述转换得到的向量,以分别得到每个所述目标网络的告警矩阵、故障 矩阵和配置矩阵; 矩阵构建单元,其用于将所述告警矩阵、故障矩阵和配置矩阵分别存储在所述多 层高维空间的告警数据层、故障数据层和配置数据层,每一层中没有存储数值的矩阵元素 填充零值。 第三方面,本发明实施例提供一种基于机器学习模型的网络故障处理装置,所述 装置包括故障诊断系统以及第二方面所述的样本数据的处理系统; 所述故障诊断系统包括模型构建模块和输入输出控制模块,所述模型构建模块用 于从所述处理系统获取输入向量和输出向量,以构建所述机器学习模型,其中,输入向量是 从所述告警数据层和故障数据层提取的,输出向量是从所述配置数据层提取的; 所述输入输出控制模块用于获取目标网络的告警数据和故障数据,并分别转换为 相应的向量后输入所述模型构建模块,将所述模型构建模块的输出向量下发给目标网络。 相对于现有技术,本发明实施例通过从数据库中获取至少一个目标网络在多个时 间点的告警数据、故障数据和配置数据,并分别转换为相应的向量,为至少一个目标网络构 建一个多层高维空间,为用于光网络故障处理的机器学习模型提供样本数据,将面向运维 专家的光网络的配置数据、告警数据和故障数据转换为面向机器学习的样本数据,并提高 样本数据的存储效率,实现异厂商的跨域样本数据的互通和共享。 附图说明 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于 本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附 图。 图1是一种云化网络架构示意图; 图2是本发明实施例样本数据的处理方法流程图; 图3是从数据库获取数据并进行向量化和矩阵化的示意图; 图4本发明另一实施例样本数据的处理方法流程图; 图5是多层高维空间的一个示例; 图6是本发明再一实施例样本数据的处理方法中,对多层高维空间进行模展开和 按行向量展开的示意图; 图7是本发明再一实施例样本数据的处理方法中,对多层高维空间的子空间进行 模展开和按行向量展开的流程图; 图8是对多层高维空间进行子空间切分的实施方式示意图; 图9是对多层高维空间进行子空间切分的另一实施方式示意图; 图10是子空间进行模展开和按行向量展开的示意图; 图11是多层高维空间的模展开和子空间切分流程图; 图12是本发明实施例样本数据的处理系统示意图; 图13是本发明实施例网络故障处理装置示意图。 6 CN 111600735 A 说 明 书 4/11 页
下载此资料需消耗2积分,
分享到:
收藏