技术摘要：
本发明公开了一种硬件友好的神经网络结构自动搜索方法及装置，该方法包括：扩展原始网络结构中每层的通道数目上限；在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；利用实际推理时延数据学习实际推理时延的模型，预测每  全部
背景技术：
深度神经网络已在许多领域取得了巨大的成功，如自然语言处理，语音识别和计 算机视觉等。深度神经网络的成功得益于其表征能力，实现了自动化的特征工程，其网络结 构，例如每层网络的通道数目对其推理表现影响很大。 现在深度神经网络结构复杂多样，设计空间巨大，人工设计需要高昂的人力成本， 因此如何找到最优的神经网络结构成为了一个难点。 目前相关技术一般先构建网络结构的搜索空间，然后利用搜索算法在搜索空间中 对网络结构进行采样，并结合表现评估策略对采样到的网络结构进行评估，最终得到最优 的网络结构。 相关技术一般用理论计算量FLOPs来评估模型的推理速度，与模型的实际表现不 符。另外，由于硬件平台之间的架构存在差异性，不同硬件平台上最优的网络结构一般不一 致，而相关技术无法针对不同硬件平台，设计该硬件平台上最高效的网络结构。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。 为此，本发明的一个目的在于提出一种硬件友好的神经网络结构自动搜索方法， 该方法构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数 量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。 本发明的另一个目的在于提出一种硬件友好的神经网络结构自动搜索装置。 为达到上述目的，本发明一方面实施例提出了一种硬件友好的神经网络结构自动 搜索方法，包括： 扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间； 在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬 件上的实际推理时延； 利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理 时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时 延确定通道数目的分数； 将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个 通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对 所述硬件友好的搜索空间； 利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经 网络结构。 4 CN 111582433 A 说　明　书 2/6 页 本发明实施例的硬件友好的神经网络结构自动搜索方法，通过针对特定硬件平 台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高 效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索 空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬 件平台上具有更好的性能，得到最优的神经网络结构。 另外，根据本发明上述实施例的硬件友好的神经网络结构自动搜索方法还可以具 有以下附加的技术特征： 在本发明的一个实施例中，所述实际推理时延的模型为： f(x)＝kxa b 其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。 在本发明的一个实施例中，根据所述实际推理时延和所述期望推理时延确定通道 数目的分数，包括： 将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝ f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通 道数目的期望推理时延，m(x)为实际推理时延。 在本发明的一个实施例中，所述根据通道数目的分数在每个通道组中选出每个通 道的通道候选，包括： 在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。 在本发明的一个实施例中，所述利用搜索算法在所构建的硬件友好的搜索空间 中，找到所述硬件对应的神经网络结构，包括： 利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神 经网络结构。 为达到上述目的，本发明另一方面实施例提出了一种硬件友好的神经网络结构自 动搜索装置，包括： 扩展模块，用于扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全 局搜索空间； 测量模块，用于在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个 通道数目在硬件上的实际推理时延； 计算模块，用于利用所测量的实际推理时延数据，学习实际推理时延的模型，利用 所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所 述期望推理时延确定通道数目的分数； 构建模块，用于将通道数目的全局搜索空间分成多个不同的通道组，根据通道数 目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道 候选，构建出对所述硬件友好的搜索空间； 搜索模块，用于利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述 硬件对应的神经网络结构。 本发明实施例的硬件友好的神经网络结构自动搜索装置，通过针对特定硬件平 台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高 效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索 5 CN 111582433 A 说　明　书 3/6 页 空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬 件平台上具有更好的性能，得到最优的神经网络结构。 另外，根据本发明上述实施例的硬件友好的神经网络结构自动搜索装置还可以具 有以下附加的技术特征： 在本发明的一个实施例中，所述实际推理时延的模型为： f(x)＝kxa b 其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。 在本发明的一个实施例中，根据所述实际推理时延和所述期望推理时延确定通道 数目的分数，包括： 将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝ f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通 道数目的期望推理时延，m(x)为实际推理时延。 在本发明的一个实施例中，所述根据通道数目的分数在每个通道组中选出每个通 道的通道候选，包括： 在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。 在本发明的一个实施例中，所述利用搜索算法在所构建的硬件友好的搜索空间 中，找到所述硬件对应的神经网络结构，包括： 利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神 经网络结构。 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。 附图说明 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解，其中： 图1为根据本发明一个实施例的硬件友好的神经网络结构自动搜索方法流程图； 图2为根据本发明一个实施例的硬件友好的神经网络结构自动搜索方法流程框 图； 图3为根据本发明一个实施例的硬件友好的神经网络结构自动搜索装置结构图。