技术摘要：
本发明提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，克服现有技术信息仅来源于本地发生的事件和行为，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击  全部
背景技术：
现有的流量分析方法和系统多为被动式、静态地使用规则对提取的关键词进行匹 配，得出是否被攻击的结论。即使有一些网络攻击的预测，也只是根据自身网络的历史数据 进行机器学习，预测的效果很差。 因此，急需一种可动态学习的网络流量分析方法和对应的系统。
技术实现要素：
本发明的目的在于提供一种结合威胁情报和机器学习的网络流量分析方法及系 统，采集多种途径的数据信息，将其预处理为情报数据流，分析所述情报数据流与热门安全 事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径。 第一方面，本申请提供一种结合威胁情报和机器学习的网络流量分析方法，所述 方法包括： 采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、 域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种； 接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类 型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流； 其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的 信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原 有评分基础上继续累计分值； 还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与 所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类 型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值 低于阈值，则认定为相关度低； 从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源 者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信 息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结 构； 其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如 果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关 联，进行数据融合，形成专门的数据条； 根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信 息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关 5 CN 111586046 A 说　明　书 2/7 页 键设备流量速度、流量总量相似的资产态势信息； 其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键 设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问 控制，以及同一属性域内关键设备的授权访问； 判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键 设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警， 判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例 是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值； 将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组 成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访 问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优 先级引入模糊处理计算局部网络的安全态势值； 根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值； 分别将单个关键设备、局部网络和整个网络的安全态势值导入神经网络模型，通 过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围的预测，并将预测结 果反馈给神经网络模型，更新神经网络模型的参数； 将单个关键设备、局部网络和整个网络的安全态势值，攻击者来源和攻击范围的 预测结果进行可视化展示。 结合第一方面，在第一方面第一种可能的实现方式中，所述模糊处理计算是基于 D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。 结合第一方面，在第一方面第二种可能的实现方式中，所述热门安全事件包括僵 尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维 度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息 进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉 络和攻击路径，并在发生脉络上标记热门安全事件摘要。 结合第一方面，在第一方面第三种可能的实现方式中，所述可视化展示还包括风 险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配 合，定位网络脆弱点和发现潜在的威胁和攻击。 第二方面，本申请提供一种结合威胁情报和机器学习的网络流量分析系统，所述 系统包括： 采集单元，用于采集不同来源的传感器、节点设备、信息平台、网络设备的运行状 态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种； 预处理单元，用于接收采集数据后，进行初始化处理，清除数据中冗余重复的信 息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据 流； 其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的 信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原 有评分基础上继续累计分值； 还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与 6 CN 111586046 A 说　明　书 3/7 页 所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类 型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值 低于阈值，则认定为相关度低； 情报理解单元，用于从合并后的情报数据流中提取要素，发现要素中包括的行为 动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据 高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行 数据融合，组成树状结构； 其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如 果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关 联，进行数据融合，形成专门的数据条； 情报评估单元，用于根据所述树状结构和专门的数据条，查询与单个关键设备地 址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信 息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息； 其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键 设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问 控制，以及同一属性域内关键设备的授权访问； 判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键 设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警， 判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例 是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值； 将邻近的若干个单个关键设备，或者依据有业务交互的若干个单个关键设备，组 成局部网络，由局部网络内的每个关键设备对应的安全漏洞、并发线程、带宽、网络拓扑、访 问频率、流入量增长率、不同协议数据包分布比例和不同大小数据包分布比例，根据业务优 先级引入模糊处理计算局部网络的安全态势值； 根据多个局部网络的拓扑关系，模糊处理计算整个网络的安全态势值； 情报预测单元，用于分别将单个关键设备、局部网络和整个网络的安全态势值导 入神经网络模型，通过神经网络模型推演，得出未来一段时间关于攻击者来源和攻击范围 的预测，并将预测结果反馈给神经网络模型，更新神经网络模型的参数； 情报展示单元，用于将单个关键设备、局部网络和整个网络的安全态势值，攻击者 来源和攻击范围的预测结果进行可视化展示。 结合第二方面，在第二方面第一种可能的实现方式中，所述模糊处理计算是基于 D-S理论与模糊集相结合的方法，计算攻击发生支持的概率。 结合第二方面，在第二方面第二种可能的实现方式中，所述热门安全事件包括僵 尸网络、挖矿、攻击中的一种或多种，对采集的所述热门安全事件信息从时间、空间多重维 度进行深度关联分析和数据挖掘，建立规则库，将疑似攻击的溯源信息与规则库中的信息 进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉 络和攻击路径，并在发生脉络上标记热门安全事件摘要。 结合第二方面，在第二方面第三种可能的实现方式中，所述可视化展示还包括风 险评估、攻击关联分析、态势感知，进行主动防御，与云服务器中的数据挖掘、大数据分析配 7 CN 111586046 A 说　明　书 4/7 页 合，定位网络脆弱点和发现潜在的威胁和攻击。 本发明提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种 途径的数据信息，将其预处理为情报数据流，克服现有技术信息仅来源于本地发生的事件 和行为，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通 过模型预测网络的攻击来源和攻击路径，实现实时动态预测网络安全，更好地保护不同用 户的业务数据。 附图说明 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的 附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。 图1为本发明结合威胁情报和机器学习的网络流量分析方法的大致流程图； 图2为本发明结合威胁情报和机器学习的网络流量分析系统的架构图。