logo好方法网

超参数搜索方法、装置、设备以及存储介质


技术摘要:
本申请实施例公开了超参数搜索方法、装置、设备以及存储介质,涉及人工智能技术领域。该方法的一具体实施方式包括:获取模型的训练脚本和超参数配置信息;基于超参数配置信息,生成超参数搜索空间;将训练脚本作为第一组件,在超参数搜索空间中执行,自动搜索超参数搜  全部
背景技术:
包括:获取模型的训练 脚本和超参数配置信息;基于超参数配置信息, 生成超参数搜索空间;将训练脚本作为第一组 件,在超参数搜索空间中执行,自动搜索超参数 搜索空间中的超参数的目标值。该实施方式通过 自动搜索的方式进行超参数的搜索,大大缩短了 为模型选择较优的超参数所花费的时间。同时, 在接口设计上采用组件化的设计方式,将训练脚 本作为组件,方便任意模型的快速接入。 CN 111582374 A CN 111582374 A 权 利 要 求 书 1/2 页 1.一种超参数搜索方法,包括: 获取模型的训练脚本和超参数配置信息; 基于所述超参数配置信息,生成超参数搜索空间; 将所述训练脚本作为第一组件,在所述超参数搜索空间中执行,自动搜索所述超参数 搜索空间中的超参数的目标值。 2.根据权利要求1所述的方法,其中,所述训练脚本具有组件化传参接口;以及 所述将所述训练脚本作为第一组件,在所述超参数搜索空间中执行,自动搜索所述超 参数搜索空间中的超参数的目标值,包括: 对于所述超参数搜索空间中的超参数的候选值,将该候选值作为第二组件,通过组件 化传参接口传递给所述训练脚本进行模型训练,得到该候选值对应的模型; 将满足预设效果的模型对应的候选值确定为所述目标值。 3.根据权利要求1所述的方法,其中,所述获取模型的超参数配置信息,包括: 将所述超参数配置信息作为第三组件,以及从组件化配置信息提交接口获取所述超参 数配置信息,其中,所述超参数配置信息的提交方式包括在线提交或命令行提交。 4.根据权利要求1所述的方法,其中,所述方法还包括: 获取训练样本集; 将所述目标值设置成模型的超参数,以及利用所述训练样本集进行训练,得到目标模 型。 5.根据权利要求1-4之一所述的方法,其中,超参数包括以下至少一种:学习率、学习率 衰减策略、一次训练所选取的样本数、指数移动平均值、丢弃率、预热学习率。 6.一种超参数搜索装置,包括: 模型信息获取模块,被配置成获取模型的训练脚本和超参数配置信息; 搜索空间生成模块,被配置成基于所述超参数配置信息,生成超参数搜索空间; 超参数搜索模块,被配置成将所述训练脚本作为第一组件,在所述超参数搜索空间中 执行,自动搜索所述超参数搜索空间中的超参数的目标值。 7.根据权利要求6所述的装置,其中,所述训练脚本具有组件化传参接口;以及 所述超参数搜索模块进一步被配置成: 对于所述超参数搜索空间中的超参数的候选值,将该候选值作为第二组件,通过组件 化传参接口传递给所述训练脚本进行模型训练,得到该候选值对应的模型; 将满足预设效果的模型对应的候选值确定为所述目标值。 8.根据权利要求6所述的装置,其中,所述模型信息获取模块进一步被配置成: 将所述超参数配置信息作为第三组件,以及从组件化配置信息提交接口获取所述超参 数配置信息,其中,所述超参数配置信息的提交方式包括在线提交或命令行提交。 9.根据权利要求6所述的装置,其中,所述装置还包括: 样本集获取模块,被配置成获取训练样本集; 模型训练模块,被配置成将所述目标值设置成模型的超参数,以及利用所述训练样本 集进行训练,得到目标模型。 10.根据权利要求6-9之一所述的装置,其中,超参数包括以下至少一种:学习率、学习 率衰减策略、一次训练所选取的样本数、指数移动平均值、丢弃率、预热学习率。 2 CN 111582374 A 权 利 要 求 书 2/2 页 11.一种电子设备,包括: 一个或多个处理器; 存储装置,其上存储有一个或多个程序, 当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实 现如权利要求1-5中任一所述的方法。 12.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执 行时实现如权利要求1-5中任一所述的方法。 3 CN 111582374 A 说 明 书 1/8 页 超参数搜索方法、装置、设备以及存储介质 技术领域 本申请实施例涉及计算机技术领域,具体涉及人工智能技术领域。
技术实现要素:
深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中,模型的超 参数对模型的性能和效果有着非常重要的影响。 目前,所有的模型在开始训练过程之前都需要对超参数进行设置。而传统的超参 数设置严重依赖人工的干预,例如人工设定超参数,并花费大量的时间进行多次调节,以得 到较优的超参数。
下载此资料需消耗2积分,
分享到:
收藏