logo好方法网

生成神经网络模型的方法和装置


技术摘要:
本申请涉及人工智能领域,公开了生成神经网络模型的方法和装置。该方法包括:基于目标神经网络模型的结构构建超网络,超网络的各层包括分别与目标神经网络模型的各层对应的候选结构单元集合,且候选结构单元集合包括目标神经网络模型的结构中对应层的网络结构单元以及  全部
背景技术:
随着人工智能技术和数据存储技术的发展,深度神经网络在许多领域的任务中取 得了重要的成果。深度神经网络经过训练后可被应用于执行相应的深度学习任务,其训练 效果依赖于大量的训练数据。而在一些场景中,训练数据难以获取,例如红外图像、深度图 像不易收集,所以无法构建大规模的样本数据集来实现对应深度神经网络的性能优化。 目前的方法包括将样本数量较大的域中训练出的神经网络模型转用至样本数量 较小的域。例如将基于彩色人脸图像训练完成的人脸识别模型应用于红外人脸图像的识 别。然而,由于不同域的数据之间的差异较大,样本数量较大的域中训练出的神经网络模型 在样本数量较小的域中的效果不理想。
技术实现要素:
本公开的实施例提供了生成神经网络模型的方法和装置、电子设备以及计算机可 读存储介质。 根据第一方面,提供了一种生成神经网络模型的方法,包括:基于目标神经网络模 型的结构构建超网络,超网络的各层包括分别与目标神经网络模型的各层对应的候选结构 单元集合,且候选结构单元集合包括目标神经网络模型的结构中对应层的网络结构单元以 及至少一个与目标神经网络模型的结构中对应层的网络结构单元相似的候选结构单元;初 始化超网络,并基于预设域的样本数据和超网络各层对应的候选结构单元集合训练超网 络;将训练完成的超网络中与目标神经网络模型对应的目标子网络的参数同步至目标神经 网络模型。 根据第二方面,提供了一种生成神经网络模型的装置,包括:构建单元,被配置为 基于目标神经网络模型的结构构建超网络,超网络的各层包括分别与目标神经网络模型的 各层对应的候选结构单元集合,且候选结构单元集合包括目标神经网络模型的结构中对应 层的网络结构单元以及至少一个与目标神经网络模型的结构中对应层的网络结构单元相 似的候选结构单元;训练单元,被配置为初始化超网络,并基于预设域的样本数据和超网络 各层对应的候选结构单元集合训练超网络;同步单元,被配置为将训练完成的超网络中与 目标神经网络模型对应的目标子网络的参数同步至目标神经网络模型。 根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处 理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少 一个处理器执行,以使至少一个处理器能够执行第一方面提供的生成神经网络模型的方 法。 根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其 5 CN 111582452 A 说 明 书 2/10 页 中,计算机指令用于使计算机执行第一方面提供的生成神经网络模型的方法。 根据本申请的技术通过基于目标神经网络模型的结构构建超并训练超网络,实现 了目标神经网络模型的参数优化。 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 附图说明 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它 特征、目的和优点将会变得更明显: 图1是本公开的生成神经网络模型的方法的一个实施例的流程图; 图2是本公开的实施例中的超网络的一种训练方法的流程示意图; 图3是本公开的实施例中的超网络的另一种训练方法的流程示意图; 图4是本公开的生成神经网络模型的装置的一个实施例的结构示意图; 图5是用来实现本公开的实施例的生成神经网络模型的方法的电子设备的框图。
下载此资料需消耗2积分,
分享到:
收藏