logo好方法网

一种基于物联网异常检测方法


技术摘要:
本发明属于物联网异常检测技术领域,具体涉及一种基于卷积神经网络的基于物联网的异常检测方法。本发明包括:输入待检测的物联网数据,将数据分成测试数据集和训练数据集;利用独热编码数字化处理待检测的物联网中的特征;对待检测的物联网数据进行标准化处理;建立卷  全部
背景技术:
目前物联网主要用于工业领域,同时也作为其他行业的新型动力,如智慧城市、智 慧家庭等,为海量的信息资源、服务资源、应用资源提供开放共享化平台。通过物联网平台, 所有用户都可以和权限范围以内的设备进行互动,物联网资源得到广泛利用。全球物联网 的规模不断扩大,从2008年的500亿美元上升至2018年的近1510亿美元。物联网技术在各行 业渗透速率不断加速,在生成新的技术的同时也在促进者新的业务变革,尤其针对企业数 字化转型的作用越来越明显,例如在物联网赋能下,共享经济催生了共享单车、共享充电 宝、共享按摩椅等中低价值资产领域。 物联网作为网络信息时代的典型代表,被中国企业越来越广泛地应用,在实现“智 慧地球”中起着重要作用,促进智能控制快速进入发展阶段。但在物联网推动行业发展方便 民众生活的同时,平台的安全测评方面尚不成熟,物联网攻击已成为今年三大热点安全话 题之一。CNCERT检测发现利用僵尸网络发起的DDoS攻击在2018年初呈增长趋势,且大部分 肉鸡来源于境外,主要针对目标是我国的金融、教育、文化体育等行业。2016年10月21日,美 国Twitter、NetFlix、纽约时报和PayPal等公司的服务服务器遭到大规模分布式拒绝服务 攻击。服务器的弱密码、端口漏洞、后门植入等同样对整个物联网平台存在着安全威胁。 2018年8月,IBM研究团队发现,Libelium、Echelon和Battelle三种智慧城市主要系统中存 在多达17个安全漏洞,包括默认密码、可绕过身份验证、数据隐码等等,攻击者利用这些漏 洞能够控制报警系统、篡改传感器数据,轻而易举控制整个城市交通。 随着物联网系统分布式和应用程序的复杂程度不断提高,相应的会受到更多漏洞 的攻击,因此异常检测变得更具挑战性。简单的模式匹配依据特征匹配,鉴定方式缺乏灵活 性,遇到相似日志即判定为异常,增加了系统健康状态的误报率。攻击方式层出不穷,仅依 靠现有的模板库只能检测到现有的攻击,对于新型攻击则无法识别,导致异常被归为正常 事件而出现错判。异常检测系统使平台处于动态保护中,以提升物联网平台的安全性。其 中,海量日志分析是异常检测与研判的主要手段。其异常分析数据主要来源于主机以及应 用程序,用于记录平台状态和各个关键点的重要事件,帮助调试性能问题和失败原因,是理 解系统状态的宝贵资源。日志记录主动运行过程当中发生的值得注意的事件,因此他们是 在线监控和异常检测极佳信息来源。但是物联网日志海量非结构化,直接从原始日志分析 事件无疑有很大难度。
技术实现要素:
本发明的目的在于提供克服现有系统中,出具处理时间过长,无法有效对海量数 据进行异常检测,数据提取后分析失真率较高等问题的一种基于物联网的异常检测方法。 4 CN 111600905 A 说 明 书 2/6 页 本发明的目的是这样实现的,一种基于物联网异常检测方法包括如下步骤: (1)输入待检测的物联网数据,将数据分成测试数据集和训练数据集; (2)利用独热编码数字化处理待检测的物联网中的特征; (3)对待检测的物联网数据进行标准化处理; (4)建立卷积神经网络模型; (5)通过嵌入层将经过独热编码数字化处理的稀疏向量压缩为密集向量; (6)将训练数据集输入到卷积神经网络模型中进行训练; (7)将测试数据集输入到判定合格的卷积神经网络模型中,得到检测数据结果。 所述的对待检测的物联网数据进行标准化处理包括:由于检测的物联网数据中的 特征值存在明显区别,通过卷积神经网络模型选取高于阈值Ω的特征,删除低于阈值Ω的 数字指标,对物联网数据进行离差标准化线性变换,使离差标准化线性变换后的物联网数 据落入[0,1]区间内,物联网数据的线性关系不变,其公式如下: 其中, 是离差标准化线性前的向量; 是离差标准化线性变换后的向量。 建立卷积神经网络模型包括:所述的卷积神经网络模型包含1个嵌入层、5个全连 接层和3个1维卷积层,其中嵌入层是物联网前馈型神经网络,对于嵌入层的每个神经单元 有一个信号向量集合T,嵌入层中节点i权重和偏移为αi和βi,第i个神经元的输出Pi如下: 其中,act为激活函数;所述的嵌入层为: 是 转换之后的向 量,输入节点的数量是ni,输出节点的数量mi,则存在一个mi×ni维的矩阵 和一 个mi维向量 满足以下公式: 所述的独热编码数字化模型如下: 其中, 代表第r层卷积核函数; 表示卷积运算; 为卷积神经网络的第r层输 入向量; 是第r层的偏差向量;act为激活函数。 所述的将训练数据集输入到卷积神经网络模型中进行训练包括:将物联网数据分 为:TP,TN,FP和FN,其中T代表分类结果正确、F代表分类结果错误,P代表模型预测结果中的 正例和N代表模型预测结果中的负例; 采用错误报警率FA、准确率A和检测率D评估卷积神经网络模型; 5 CN 111600905 A 说 明 书 3/6 页 A为正确的分类编号在分类结果中占总样本的比例; D表示网络正确探测异常的概率; FA代表卷积神经网络模型将正常数据判定为异常的概率; 持续训练指导当A≥96%,D≥97%,FA≤0.5%时,判定卷积神经网络模型合格,停 止训练。 所述的步骤(7)包括:对于测试数据集中每一项数据经过卷积神经网络模型计算 后,得到长度为5的向量,从1到5位分别为正常记载的可能性、拒绝数据异常化的可能性、篡 改数据的可能性、来自远程节点的非法访问的可能性、普通节点对超级节点特权的非法访 问的可能性。 本发明的有益效果在于: 本发明设计了一种卷积神经网络的基于物联网的异常检测方法,采用独热编码数 字化以及离差标准化线性变换的方式,将物联网的数据特征进行预处理,使得卷积神经网 络模型可以更有效的标识物联网数据集的特征,从而减少物联网数据的失真率;通过嵌入 层将独热编码数字化矢量压缩为密集矢量,减少每次卷积神经网络模型的训练时间;通过 离差标准化线性变换对原始的物联网数据进行线性变换,使物联网数据在处理过程中仍然 保持原始数据的线性关系特性,从而提高卷积神经网络模型在检测异常过程中的精度。本 发明的异常检测准确率更高,对于模型训练的时间更短,预测精度更高,可以广泛应用于物 联网异常检测等方面。 附图说明 图1是一种基于物联网的异常检测方法的流程图。
下载此资料需消耗2积分,
分享到:
收藏