logo好方法网

语料处理方法、装置及存储介质


技术摘要:
本公开是关于一种语料处理方法、装置及存储介质。语料处理方法包括:获取用户输入的信息;根据所述信息,从多个候选语料中检索与所述信息匹配的回复信息,所述多个候选语料为清除负面情感语料后得到的候选语料;发送与所述信息匹配的回复信息。通过本公开,使得开放域  全部
背景技术:
人工智能(Artificial  Intelligence,AI)是目前研究和开发用于模拟、延伸以及 扩展人类智能的一门新兴科学技术。其中,AI的主要研究目标是使机器能够胜任一些通常 需要人类智能才能完成的复杂工作,比如时下出现的聊天机器人便是对AI技术的一个实际 应用。 目前,针对开放域对话系统,开放域聊天机器人已成为重要的人机交互产品,但是 在开放域对话中,开放域聊天机器人需要利用大量的候选语料用于回复。同时,如果开放域 聊天机器人回复一些负面情感的回复,如抑郁、愤怒等情绪,会对用户造成严重的困扰,更 有甚者会导致用户也染上同样的负面情绪。 故,如何提高开放域聊天机器人候选语料的质量,以树立正面、积极的开放域聊天 机器人成为了时下本领域技术人员亟待解决的一个技术问题。
技术实现要素:
为克服相关技术中存在的问题,本公开提供一种语料处理方法、装置及存储介质。 根据本公开实施例的第一方面,提供一种语料处理方法,语料处理方法包括:获取用户输入 的信息;根据信息,从多个候选语料中检索与信息匹配的回复信息,多个候选语料为清除负 面情感语料后得到的候选语料;发送与信息匹配的回复信息。 在一示例中,语料处理方法还包括:获取候选语料集;调用情感识别模型,情感识 别模型根据输入的语料,输出语料的情感分数;将候选语料集中的候选语料输入情感识别 模型,并依据情感识别模型的输出,以及预设的负面情感分数阈值,确定候选语料集中包含 的负面情感候选语料;清除负面情感候选语料,得到多个候选语料。 在一示例中,语料处理方法还包括:获取训练集,训练集中包括多个负面情感训练 语料,和多个正面情感训练语料;将多个负面情感训练语料和多个正面情感训练语料输入 情感识别模型,通过情感识别模型输出训练语料的情感分数;基于训练语料的情感分数以 及损失函数调整情感识别模型的参数,得到满足损失值的情感识别模型。 在一示例中,语料处理方法还包括:获取验证集,验证集中包括多个负面情感验证 语料,和多个正面情感验证语料;将多个负面情感验证语料和多个正面情感验证语料输入 训练好的情感识别模型,通过训练好的情感识别模型输出验证语料的情感分数;根据输出 的验证语料的情感分数,确定负面情感分数阈值。 在一示例中,语料处理方法还包括:以预设的时间间隔为单位,获取更新后的候选 语料集,依据情感识别模型的输出,确定更新后的候选语料集中包含的负面情感候选语料, 并清除更新后的候选语料集中包含的负面情感候选语料。 根据本公开实施例的第二方面,提供一种语料处理装置,语料处理装置包括:获取 4 CN 111553171 A 说 明 书 2/6 页 单元,被配置为获取用户输入的信息;匹配单元,被配置为根据信息,从多个候选语料中检 索与信息匹配的回复信息,多个候选语料为清除负面情感语料后得到的候选语料;发送单 元,被配置为发送与信息匹配的回复信息。 在一示例中,语料处理装置还包括:处理单元,被配置为通过如下方式清除负面情 感语料,得到多个候选语料:获取候选语料集;调用情感识别模型,情感识别模型根据输入 的语料,输出语料的情感分数;将候选语料集中的候选语料输入情感识别模型,并依据情感 识别模型的输出,以及预设的负面情感分数阈值,确定候选语料集中包含的负面情感候选 语料;清除负面情感候选语料,得到多个候选语料。 在一示例中,语料处理装置还包括:训练单元,被配置为通过如下方式训练情感识 别模型:获取训练集,训练集中包括多个负面情感训练语料,和多个正面情感训练语料;将 多个负面情感训练语料和多个正面情感训练语料输入情感识别模型,通过情感识别模型输 出训练语料的情感分数;基于训练语料的情感分数以及损失函数调整情感识别模型的参 数,得到满足损失值的情感识别模型。 在一示例中,语料处理装置还包括:验证单元,被配置为获取验证集,验证集中包 括多个负面情感验证语料,和多个正面情感验证语料;将多个负面情感验证语料和多个正 面情感验证语料输入训练好的情感识别模型,通过训练好的情感识别模型输出验证语料的 情感分数;根据输出的验证语料的情感分数,确定负面情感分数阈值。 在一示例中,语料处理装置还包括:处理单元,被配置为以预设的时间间隔为单 位,获取更新后的候选语料集,依据情感识别模型的输出,确定更新后的候选语料集中包含 的负面情感候选语料,并清除更新后的候选语料集中包含的负面情感候选语料。 根据本公开的第三方面,提供了一种语料处理装置,语料处理装置包括:存储器, 配置用于存储指令。以及处理器,配置用于调用指令执行前述第一方面或者第一方面中任 意一示例中的语料处理方法。 根据本公开的第四方面,提供了一种非临时性计算机可读存储介质,非临时性计 算机可读存储介质存储有计算机可执行指令,计算机可执行指令在由处理器执行时,执行 前述第一方面或者第一方面中任意一示例中的语料处理方法。 本公开的实施例提供的技术方案可以包括以下有益效果:针对开放域聊天机器 人,通过对开放域聊天机器人中的负面候选语料执行清除操作,使得开放域聊天机器人可 根据用户输入的信息,输出正面、积极的回复信息,提升开放域聊天机器人与用户交流的紧 密度,提升用户体验。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不 能限制本公开。 附图说明 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施 例,并与说明书一起用于解释本公开的原理。 图1是根据一示例性实施例示出的一种语料处理方法的流程图。 图2是根据一示例性实施例示出的一种训练情感识别模型的流程图。 图3是根据一示例性实施例示出的一种语料处理装置的框图。 5 CN 111553171 A 说 明 书 3/6 页 图4是根据一示例性实施例示出的一种装置的框图。
分享到:
收藏