
技术摘要:
本发明提出一种基于边缘计算协同的生成对抗支持向量机以及基于生成对抗网络模型的文本图像向量处理系统。所述文本图像向量处理系统包括文本描述输入模块以及协同边缘计算终端。协同边缘计算终端基于文本描述输入模块提供的多个文本关键词,基于各自配置的不同深度学习 全部
背景技术:
对抗机器学习是一个机器学习与计算机安全的交叉领域。对抗机器学习旨在给恶 意环境下的机器学习技术提供安全保障。由于机器学习技术一般研究的是同一个或较为稳 定的数据分布,当部署到现实中的时候,由于恶意用户的存在,这种假设并不一定成立。比 如研究人员发现,一些精心设计的对抗样本(adversarial example)可以使机器学习模型 失败输出正确的结果。 支持向量机(Support Vector Machine , SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。 为了能够建立从底层信号到高层语义的映射关系,深度学习模型都采用了多层的 深度网络结构,从低层到高层逐级提取数据中不同层面的特征。深度神经网络的深层结构 给这些模型带来了十分强大的表征能力,这为表示和挖掘海量数据中复杂而丰富的信息提 供了手段。深度神经网络经过了无数人的努力,不断发展,在一定程度上已经解决了自身参 数过多、训练困难的问题,有效地提高了模型的各项性能,但是仍然有很多可以提高的地 方。一部分学者致力于研宄如何修正深度模型,比如,利用对抗样本来提高模型的抗干扰能 力,由此基于对抗训练(Adversarial Training)的概念应运而生。 生成对抗网络在近几年受到了学术界与工业界的极大重视,并一跃成为了最热门 的研究领域。与传统的机器学习、深度学习方法不同,生成对抗网络的最大特点在于借鉴了 博弈论中零和博弈的思想,在模型中引入了生成器与鉴别器相对抗的机制,使得模型能够 用于真实数据分布的建模和生成。 将生成对抗网络与支持向量机相结合,从而得到对抗支持向量机的概念,即在支 持向量机的模型生成中,引入生成器与鉴别器相对抗的机制,使得模型能够用于真实数据 分布的建模和生成。 经检索,CN201911100240.8的中国发明专利申请提出一种基于堆栈式支持向量机 的杆塔螺栓状态监测方法及装置,包括:振动数据集采集及预处理;将预处理后的数据进行 小波变换构造特征向量;利用特征向量训练对抗支持向量机A-SVM;训练堆栈式支持向量机 S-SVM;利用训练后的堆栈式支持向量机模型实现杆塔状态自动监测;装置为:AD采集模块 的输入端接有振动速度传感器,输出端与FPGA相连,FPGA分别与GPRS模块、up2开发板相连, up2开发板向控制继电器模块发送控制指令,控制继电器模块输出端与振动速度传感器相 连;GPRS模块与远端上位机通讯。 然而,针对其他问题,例如基于文本生成多对象图像问题,尚未见到类似技术方 4 CN 111597338 A 说 明 书 2/5 页 案。
技术实现要素:
为解决上述技术问题,本发明提出一种基于生成对抗网络模型的文本图像向量处 理系统,所述文本图像向量处理系统包括多个文本描述输入模块、与所述多个文本描述输 入模块连接的多个协同边缘计算终端。多个协同边缘计算终端基于文本描述输入模块提供 的多个文本关键词,基于各自配置的不同深度学习模型生成长文本描述;将所述长文本描 述输入包含支持向量机的分类模型进行分类后,输出不同分类对应的图像向量;将所述图 像向量返回至所述多个协同边缘计算终端,所述边缘计算终端对应于多个不同分类的图像 向量生成不同场景类别的场景描述;将所述图像向量和所述场景描述作为所述对抗网络模 型的输入,得到多对象图像输出。本发明能够快速准确度生成包含多对象的高分辨率图像。 具体来说,本申请的技术方案整体上概括如下: 一种基于生成对抗网络模型的文本图像向量处理系统,所述文本图像向量处理系统包 括多个文本描述输入模块、与所述多个文本描述输入模块连接的多个协同边缘计算终端; 所述多个文本描述输入模块用于输入多个文本关键词; 所述多个协同边缘计算终端基于所述多个文本关键词,基于各自配置的不同深度学习 模型生成长文本描述; 将所述长文本描述输入包含支持向量机的分类模型进行分类后,输出不同分类对应的 图像向量; 将所述图像向量返回至所述多个协同边缘计算终端,所述边缘计算终端对应于多个不 同分类的图像向量生成不同场景类别的场景描述; 将所述图像向量和所述场景描述作为所述对抗网络模型的输入,得到多对象图像输 出。 其中,将所述长文本描述输入包含支持向量机的分类模型进行分类,进一步包括: 通过实体序列模型识别所述长文本描述中知识图谱的实体,其中,所述实体序列模型 是根据标记有实体的文章训练得到; 将所述实体进行向量化之后输入包含支持向量机的分类模型。 将所述图像向量返回至所述多个协同边缘计算终端,所述边缘计算终端对应于多 个不同分类的图像向量生成不同场景类别的场景描述,具体包括: 根据所述图像向量包含的目标对象图像区域,分别获取针对每种目标对象类型的初始 预测置信度;将具有最高数值的初始预测置信度的目标对象类型,确定为所述目标对象对 应的所述场景类别; 所述边缘计算终端基于所述场景类别,生成所述场景描述。 将所述图像向量和所述场景描述作为所述生成对抗网络模型的输入,得到多对象 图像输出,具体包括: 所述生成对抗网络模型包括两层级联结构; 第一层结构将所述场景描述作为输入,输出初始形状和颜色的低分辨率图像; 第二层结构将所述第一层结构的输出以及所述图像向量作为输入,输出高分辨率图 像。 5 CN 111597338 A 说 明 书 3/5 页 第二层结构将所述第一层结构的输出以及所述图像向量作为输入,输出高分辨率 图像,具体包括: 采用掩膜回归网络从所述图像向量中提取目标对象信息,并将所述目标对象信息进行 上采样后与所述第一层结构的输出进行组合。 将所述图像向量和所述场景描述作为所述对抗网络模型的输入,得到多对象图像 输出之后,进一步包括: 识别出所述多对象图像中的多个对象,与所述图像向量包含的目标对象进行比对,调 整所述目标对象类型的所述初始预测置信度。 将所述图像向量和所述场景描述作为所述对抗网络模型的输入,得到多对象图像 输出之后,进一步包括: 识别出所述多对象图像中的多个对象,与所述图像向量包含的目标对象进行比对; 将比对结果反馈给所述多个协同边缘计算终端。 将比对结果反馈给所述多个协同边缘计算终端,具体包括: 基于所述比对结果,优化所述多个协同边缘计算终端各自配置的所述不同深度学习模 型。 本发明还提出一种基于边缘计算协同的生成对抗支持向量机,所述生成对抗支持 向量机文本图像向量处理系统中,基于输入的文本描述,生成多对象的高分辨率图像。 本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所 需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施 例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获 得其他的附图。 图1是本发明一个实施例的基于生成对抗网络模型的文本图像向量处理系统的整 体架构图。 图2是利用图1所述系统实现文本图像向量处理的流程图。 图3是图2所述方法所使用的生成对抗网络模型的架构示意图。