
技术摘要:
本文涉及信息处理装置、用于信息处理装置的控制方法以及记录用于信息处理装置的控制程序的计算机可读记录介质。信息处理装置包括:算术运算单元,其被配置成使用算术运算目标执行算术运算,并且通过使用计算出的算术运算结果来重复该算术运算;比率计算单元,其被配置 全部
背景技术:
近年来,随着深度学习和机器学习引起关注,可以执行在学习中高速进行的算术 运算的处理器引起关注。在下文中,存在将深度学习和机器学习统称为学习的情况。在用于 学习的处理器中,可以并行执行张量运算并加速算术运算的图形处理单元(GPU)特别地引 起了关注。但是,GPU是为执行3维(D)图形处理而开发的处理器,并且并未针对学习进行优 化。因此,当执行学习时,GPU不管处理的阶段怎样都使用32位浮点数执行算术运算。由此, 考虑到电力性能的指标,可以说GPU在学习方面具有优化的空间。 在这种情况下,各种公司已经开发了针对学习而优化的处理器。学习的算术运算 主要是张量运算,该张量运算与在3D图形处理中执行的张量运算没有区别。然而,深度学习 和机器学习具有用于张量运算的算术运算元素的值的变化随着学习的进行而减小特征。着 眼于此类学习中执行的算术运算的特殊性质,公司推出了以8位整数执行推理操作的处理 器和以16位浮点数执行学习操作的处理器用于机器学习。这些处理器的目的是通过降低算 术运算精度并执行该算术运算来改善电力性能。 此外,存在在作为学习算术运算循环的前半阶段的先前学习中以32位浮点数执行 算术运算,并且在先前的学习已完成的时候将算术运算切换为具有8位整数的学习算术运 算的硬件。该硬件使用8位整数作为定点数,并在先前的迭代中进行学习算术运算时,根据 输出结果确定小数点位置。迭代意指用于确定重复执行的学习中的参数的学习算术运算的 单个循环。利用该操作,不需要执行两次算术运算,即确定小数点位置的算术运算和确定小 数点位置之后的算术运算,并且减少了算术运算的次数。此外,存在获取图像数据作为浓度 数据或二进制数据、执行学习和识别并且加速图像识别的典型技术。 日本公开特许公报第06-96048号和日本公开特许公报第08-36644号作为相关技 术被公开。 但是,已经开发用于深度学习和机器学习的处理器的算术运算精度是根据硬件预 先确定的,并且难以处理学习特征,使得随着学习的进行,用于算术运算的算术运算元素的 值的变化减小。因此,已经针对深度学习和机器学习开发的处理器难以提高学习效率。 此外,在先前的学习完成时,将具有32位浮点数的算术运算切换为具有8位整数的 学习算术运算的硬件在学习期间不切换算术运算。因此,在学习期间的算术运算中,硬件难 以应对算术运算元件的值的变化。因此,即使使用这种硬件,也难以提高学习效率。此外,即 使使用获取图像数据作为浓度数据或二进制数据并执行学习和识别的典型技术,也难以应 对学习期间的算术运算中的算术运算元件的值的变化,并且学习效率可能会降低。 此外,在其中小数点位置变化大的先前学习的预定阶段之后使用8位定点数的情 况下,由于小数点位置的大的变化,有可能无法进行学习。因此,为了避免学习的停滞,考虑 3 CN 111612123 A 说 明 书 2/22 页 了由用户通过反复试验来确定学习算术运算循环的数量,作为切换到使用8位定点数的算 术运算的定时的方法。 然而,用户难以指定学习算术运算循环的数量来设置适当的切换定时,并且存在 机器学习的学习效率降低的可能性。 考虑到上述情况做出了所公开的技术,并且所公开技术的目的是提供一种提高深 度学习和机器学习的学习效率的信息处理装置、信息处理装置的控制方法以及信息处理装 置的控制程序。
技术实现要素:
根据实施方式的方面,信息处理装置包括:算术运算单元,其被配置成使用算术运 算目标执行算术运算并且通过使用计算出的算术运算结果来重复该算术运算;比率计算单 元,其被配置成获得包括在预定位定点数的可表达范围内的元素的数量与算术运算结果中 包括的元素的数量的比率;以及算术运算控制单元,其被配置成使算术运算单元通过基于 由比率计算单元计算出的比率使用预定位定点数来执行算术运算。 附图说明 图1是信息处理装置的硬件配置图; 图2是用于说明学习过程的图; 图3是根据第一实施方式的信息处理装置的框图; 图4是根据第一实施方式的算术数据类型数据库中的注册信息的示例的图; 图5是根据第一实施方式的可表达比率数据库中的注册信息的示例的图; 图6是用于说明根据第一实施方式的算术数据类型确定处理的图; 图7是由根据第一实施方式的信息处理装置进行的算术数据类型确定处理的序列 图; 图8A和图8B是根据第一实施方式的算术数据类型确定处理的流程图; 图9是示出通过使用两个信息处理装置进行学习的图; 图10是根据第二实施方式的可表达比率数据库中的注册信息的示例的图; 图11是根据第二实施方式的算术数据类型数据库中的注册信息的示例的图; 图12是用于说明根据第二实施方式的算术数据类型确定处理的图; 图13A和图13B是根据第二实施方式的算术数据类型确定处理的流程图; 图14是根据第三实施方式的信息处理装置的框图; 图15是用于说明算术数据类型转换的图; 图16是由根据第三实施方式的信息处理装置进行的算术数据类型确定处理的序 列图;以及 图17A和图17B是根据第三实施方式的算术数据类型确定处理的流程图。