logo好方法网

一种自注意力命名实体识别方法、装置、设备及存储介质


技术摘要:
本发明公开了一种自注意力命名实体识别方法、装置、设备及存储介质,该方法包括:获取文本信息,将文本信息转换为词隐藏状态向量和句子级向量;将词隐藏状态向量输入至自注意力层,输出得到的新的词隐藏状态向量;基于新的词隐藏状态向量和句子级向量,进行命名实体识  全部
背景技术:
目前,智能机器人交互是实现城市智能化的一项重要工作。近年来,随着计算机集 群计算能力的大幅度提升,人工智能算法研究和产业落地步入了发展快车道,而智能机器 人交互作为人工智能重要分支——自然语言处理的一个重要应用,也逐渐成为学术界、工 业界重点投入的研究热点和产品方向。无论在教育领域,金融领域,还是医疗领域都有着广 泛的应用,通过使用智能机器人,可以提高效率,减少人力资源。智能机器人交互对社会经 济效益和国家科技发展都具有重大意义。 命名实体识别在智能机器人交互(对话)系统中,需要从用户的提问中准确的识别 出各种实体的类型才能更好地回答用户,例如:“我想订一张后天从杭州到三亚的机票?” “从三亚飞杭州的机票多少钱?”,分别需要准确地识别出“后天”,“三亚”和“杭州”才能准确 回答用户的问题。对话系统需要接收纯文本形式的自然语言,必需经过实体识别将无结构 化的数据转化为结构化数据,才能进行后续的意图识别等步骤。 现有技术中,命名实体识别方法先将原始文本转换为词向量,将词向量输入至人 工神经网络中,再对人工神经网络输出的隐藏状态向量结果进行实体识别,得到命名实体 识别结果。但是人工神经网络无法结合整个句子的全局信息,最后得到命令实体识别结果 的准确性较低。因此,如何提高命令实体识别结果的准确性是亟待解决的问题。
技术实现要素:
本发明的目的是提供一种自注意力命名实体识别方法、装置、设备及存储介质,以 实现提高实体识别结果的准确性。 为解决上述技术问题,本发明提供一种自注意力命名实体识别方法,包括: 获取文本信息,将文本信息转换为词隐藏状态向量和句子级向量; 将词隐藏状态向量输入至自注意力层,输出得到的新的词隐藏状态向量; 基于新的词隐藏状态向量和句子级向量,进行命名实体识别得到实体识别结果。 优选的,所述将文本信息转换为词隐藏状态向量和句子级向量,包括: 将文本信息转换为词向量; 利用词向量生成词隐藏状态向量和句子级向量。 优选的,所述利用词向量生成词隐藏状态向量和句子级向量,包括: 将词向量输入至第一人工神经网络,输出得到词隐藏状态向量和句子级向量。 优选的,所述第一人工神经网络包括第一BiLSTM神经网络。 优选的,所述基于新的词隐藏状态向量和句子级向量,进行命名实体识别得到实 体识别结果,包括: 3 CN 111597816 A 说 明 书 2/7 页 将新的词隐藏状态向量和句子级向量进行拼接,得到拼接向量; 将拼接向量输入至第二人工神经网络,输出得到最终隐藏状态向量; 对最终隐藏状态向量进行命名实体识别,生成实体识别结果。 优选的,所述对最终隐藏状态向量进行命名实体识别,生成实体识别结果,包括: 将最终隐藏状态向量输入至条件随机场CRF,输出得到实体识别结果。 优选的,所述第二人工神经网络包括第二BiLSTM神经网络。 本发明还提供一种自注意力命名实体识别装置,包括: 转换模块,用于获取文本信息,将文本信息转换为词隐藏状态向量和句子级向量; 输入模块,用于将词隐藏状态向量输入至自注意力层,输出得到的新的词隐藏状 态向量; 识别模块,用于基于新的词隐藏状态向量和句子级向量,进行命名实体识别得到 实体识别结果。 本发明还提供一种自注意力命名实体识别设备,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现如上任一项所述的自注意力命名实体识 别方法的步骤。 本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算 机程序,所述计算机程序被处理器执行时实现如上任一项所述的自注意力命名实体识别方 法的步骤。 本发明所提供的一种自注意力命名实体识别方法、装置、设备及存储介质,获取文 本信息,将文本信息转换为词隐藏状态向量和句子级向量;将词隐藏状态向量输入至自注 意力层,输出得到的新的词隐藏状态向量;基于新的词隐藏状态向量和句子级向量,进行命 名实体识别得到实体识别结果。可见,引入自注意力层,将词隐藏状态向量输入至自注意力 层,输出得到的新的词隐藏状态向量,自注意力层能够增加捕获词之间关系的能力,得到的 新的词隐藏状态向量会结合到整个句子的全局信息,最后得到的实体识别结果的准确性较 高,实现提高实体识别结果的准确性。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。 图1为本发明所提供的一种自注意力命名实体识别方法的流程图; 图2为Attention机制的数据对组成示意图; 图3为Muti-Head  Attention模型示意图; 图4为基于句子语义与Self-Attention机制的NER模型示意图; 图5为本发明所提供的一种自注意力命名实体识别装置结构示意图; 图6为本发明所提供的一种自注意力命名实体识别设备结构示意图。 4 CN 111597816 A 说 明 书 3/7 页
下载此资料需消耗2积分,
分享到:
收藏