技术摘要：
本申请实施例公开了自动量化策略搜索方法、装置、设备以及存储介质，涉及人工智能技术领域。该方法的一具体实施方式包括：获取模型的训练脚本和自动量化策略配置信息；基于自动量化策略配置信息，生成自动量化策略搜索空间；将训练脚本作为第一组件执行，以及在自动量  全部
背景技术：
包括：获取模型 的训练脚本和自动量化策略配置信息；基于自动 量化策略配置信息，生成自动量化策略搜索空 间；将训练脚本作为第一组件执行，以及在自动 量化策略搜索空间中自动量化，自动搜索自动量 化策略搜索空间中的目标自动量化策略。该实施 方式通过自动搜索的方式进行自动量化策略的 搜索，大大缩短了为模型选择较优的自动量化策 略所花费的时间。同时，在接口设计上采用组件 化的设计方式，将训练脚本作为组件，方便任意 模型的快速接入。 CN 111582476 A CN 111582476 A 权　利　要　求　书 1/2 页 1.一种自动量化策略搜索方法，包括： 获取模型的训练脚本和自动量化策略配置信息； 基于所述自动量化策略配置信息，生成自动量化策略搜索空间； 将所述训练脚本作为第一组件执行，以及在所述自动量化策略搜索空间中自动量化， 自动搜索所述自动量化策略搜索空间中的目标自动量化策略。 2.根据权利要求1所述的方法，其中，所述将所述训练脚本作为第一组件执行，以及在 所述自动量化策略搜索空间中自动量化，自动搜索所述自动量化策略搜索空间中的目标自 动量化策略，包括： 将所述训练脚本作为第一组件执行，得到量化前模型； 对于所述自动量化策略搜索空间中的自动量化策略，将该自动量化策略作为第二组件 调用，对所述量化前模型进行自动量化，得到该自动量化策略对应的量化后模型； 将满足预设效果的量化后模型对应的自动量化策略确定为目标自动量化策略。 3.根据权利要求2所述的方法，其中，所述量化前模型包括至少一个网络层，所述自动 量化配置信息包括用于指示所述至少一个网络层中的网络层是否需要自动量化的信息；以 及 所述将该自动量化策略作为第二组件调用，对所述量化前模型进行自动量化，得到该 自动量化策略对应的量化后模型，包括： 对于所述至少一个网络层中的网络层，若该网络层需要自动量化，调用该自动量化策 略对该网络层进行自动量化；若该网络层不需要自动量化，调用传统量化策略对该网络层 进行传统量化，其中，所述传统量化策略包括离线量化策略和在线量化策略。 4.根据权利要求1所述的方法，其中，所述获取模型的自动量化策略配置信息，包括： 将所述自动量化配置信息作为第三组件，以及从组件化配置信息提交接口获取所述自 动量化策略配置信息，其中，所述自动量化策略配置信息的提交方式包括在线提交或命令 行提交。 5.根据权利要求1所述的方法，其中，所述方法还包括： 获取训练样本集； 利用所述训练样本集进行训练，得到初始模型； 利用所述目标自动量化策略对所述初始模型进行量化，得到目标模型。 6.根据权利要求1-5之一所述的方法，其中，自动量化策略包括以下至少一种：8比特量 化、4比特量化和2比特量化。 7.一种自动量化策略搜索装置，包括： 模型信息获取模块，被配置成获取模型的训练脚本和自动量化策略配置信息； 搜索空间生成模块，被配置成基于所述自动量化策略配置信息，生成自动量化策略搜 索空间； 量化策略搜索模块，被配置成将所述训练脚本作为第一组件执行，以及在所述自动量 化策略搜索空间中自动量化，自动搜索所述自动量化策略搜索空间中的目标自动量化策 略。 8.根据权利要求7所述的装置，其中，所述量化策略搜索模块包括： 训练脚本执行子模块，被配置成将所述训练脚本作为第一组件执行，得到量化前模型； 2 CN 111582476 A 权　利　要　求　书 2/2 页 模型自动量化子模块，被配置成对于所述自动量化策略搜索空间中的自动量化策略， 将该自动量化策略作为第二组件调用，对所述量化前模型进行自动量化，得到该自动量化 策略对应的量化后模型； 量化策略确定子模块，被配置成将满足预设效果的量化后模型对应的自动量化策略确 定为目标自动量化策略。 9.根据权利要求8所述的装置，其中，所述量化前模型包括至少一个网络层，所述自动 量化配置信息包括用于指示所述至少一个网络层中的网络层是否需要自动量化的信息；以 及 所述模型自动量化子模块进一步被配置成： 对于所述至少一个网络层中的网络层，若该网络层需要自动量化，调用该自动量化策 略对该网络层进行自动量化；若该网络层不需要自动量化，调用传统量化策略对该网络层 进行传统量化，其中，所述传统量化策略包括离线量化策略和在线量化策略。 10.根据权利要求7所述的装置，其中，所述模型信息获取模块进一步被配置成： 将所述自动量化配置信息作为第三组件，以及从组件化配置信息提交接口获取所述自 动量化策略配置信息，其中，所述自动量化策略配置信息的提交方式包括在线提交或命令 行提交。 11.根据权利要求7所述的装置，其中，所述装置还包括： 数据集获取模块，被配置成获取训练样本集； 模型训练模块，被配置成利用所述训练样本集进行训练，得到初始模型； 模型量化模块，被配置成利用所述目标自动量化策略对所述初始模型进行量化，得到 目标模型。 12.根据权利要求7-11之一所述的装置，其中，自动量化策略包括以下至少一种：8比特 量化、4比特量化和2比特量化。 13.一种电子设备，包括： 一个或多个处理器； 存储装置，其上存储有一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现如权利要求1-6中任一所述的方法。 14.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执 行时实现如权利要求1-6中任一所述的方法。 3 CN 111582476 A 说　明　书 1/9 页 自动量化策略搜索方法、装置、设备以及存储介质 技术领域 本申请实施例涉及计算机技术领域，具体涉及人工智能技术领域。
技术实现要素：
深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，模型的量 化对模型的性能和效果有着非常重要的影响。 目前，几乎所有的深度神经网络的端上的模型都需要量化以后才能部署。而传统 的模型量化需要通过在模型的训练脚本中植入代码的方式进行量化。