技术摘要：
本申请公开了一种基于多模态机器学习的翻译方法、装置、设备及存储介质，涉及人工智能技术领域。该方法通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图，在语义关联图中采用第一连接边连接同一模态的语义节点、且采用第二连接边连接不同模态的语义节  全部
背景技术：
机器翻译是利用计算机将一种自然语言转变为另一种自然语言的过程。 在一些应用场景中，可以通过机器翻译模型将多种不同表达形式的源语言翻译成 目标语言，即将多模态源语言翻译成目标语言；示例性的，获取图片与对应的英文注释，通 过机器翻译模型分别对图片与英文注释进行特征提取，之后对提取到的特征进行融合，进 而基于融合后的特征翻译得出图片与英文注释对应的法文注释。 上述翻译方法并不能够充分的构建图片与英文注释之间的语义关联。
技术实现要素：
本申请实施例提供了一种基于多模态机器学习的翻译方法、装置、设备及存储介 质，可以在特征编码的过程中对多个模态的源语言进行充分的语义融合，使编码向量解码 出的目标语句与源语言所表达的内容与情感等更贴近。所述技术方案如下： 根据本申请的一方面，提供了一种基于多模态机器学习的翻译方法，应用于设置 有多模态融合编码器和解码器的计算机设备中，该方法包括： 通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图，语义关 联图包括n种不同模态的语义节点，用于连接同一模态的语义节点的第一连接边，以及用于 连接不同模态的语义节点的第二连接边，n为大于1的正整数； 通过第一词向量层从语义关联图中提取出第一词向量； 通过多模态融合编码器对第一词向量进行编码，得到编码特征向量； 调用解码器对编码特征向量进行解码处理，得到翻译后的目标语句。 根据本申请的另一方面，提供了一种基于多模态机器学习的翻译装置，该装置包 括： 语义关联模块，用于通过多模态图表示层对n个模态的源语言进行语义关联，构建 语义关联图，语义关联图包括n种不同模态的语义节点，用于连接同一模态的语义节点的第 一连接边，以及用于连接不同模态的语义节点的第二连接边，n为大于1的正整数； 特征提取模块，用于通过第一词向量层从语义关联图中提取出第一词向量； 向量编码模块，用于通过多模态融合编码器对第一词向量进行编码，得到编码特 征向量； 向量解码模块，用于调用解码器对编码特征向量进行解码处理，得到翻译后的目 标语句。 根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括： 存储器； 5 CN 111597830 A 说　明　书 2/20 页 与存储器相连的处理器； 其中，处理器被配置为加载并执行可执行指令以实现如上一个方面及其可选实施 例所述的基于多模态机器学习的翻译方法。 根据本申请的另一方面，提供了一种计算机可读存储介质，上述计算机可读存储 介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一 段程序、代码集或指令集由处理器加载并执行以实现如上一个方面及其可选实施例所述的 基于多模态机器学习的翻译方法。 本申请实施例提供的技术方案带来的有益效果至少包括： 该方法通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图， 在语义关联图中采用第一连接边连接同一模态的语义节点、且采用第二连接边连接不同模 态的语义节点，以语义关联图充分的表示出多个模态的源语言之间的语义关联，继而通过 多模态融合编码器对语义关联图中的特征向量进行充分的语义融合，得到编码后的编码特 征向量，进而在对编码特征向量进行解码处理后得到更准确的目标语句，该目标语句与多 模态的源语言综合表达的内容、情感、以及语言环境等更贴近。 附图说明 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。 图1是本申请一个示例性实施例提供的多模态机器翻译模型的结构示意图； 图2是本申请一个示例性实施例提供的计算机系统的结构示意图； 图3是本申请一个示例性实施例提供的基于多模态机器学习的翻译方法的流程 图； 图4是本申请一个示例性实施例提供的语义关联图构建的流程图； 图5是本申请另一个示例性实施例提供的基于多模态机器学习的翻译方法的流程 图； 图6是本申请另一个示例性实施例提供的基于多模态机器学习的翻译方法的流程 图； 图7是本申请另一个示例性实施例提供的多模态机器翻译模型的结构示意图； 图8是本申请一个示例性实施例提供的模型测试结果的曲线图； 图9是本申请另一个示例性实施例提供的模型测试结果的曲线图； 图10是本申请另一个示例性实施例提供的模型测试结果的曲线图； 图11是本申请一个示例性实施例提供的基于多模态机器学习的翻译装置的框图； 图12是本申请一个示例性实施例提供的服务器的结构示意图。