技术摘要：
本发明公开了一种基于多维特征融合与依存句法的事件图谱构建系统及方法，通过利用多维特征融合的事件抽取、事件修正与对齐、基于增强结构化事件的关系抽取、基于依存句法与图注意力网络的因果关系抽取、事件图谱生成模块的联合学习，实现了基于多维特征融合与依存句法  全部
背景技术：
】 大数据时代的知识图谱技术将海量信息以结构化的“实体-关系-实体”三元组进 行连接与存储，从而将网络中海量的非结构化与半结构化信息有效的组织起来，并构成了 知识语义网络，在司法、金融、突发事件等相关领域的取得了突出的应用效果，成为目前人 工智能应用的重要方向之一。但随着业务需求的增长，传统的知识图谱所描述的实体及实 体间的关系对已无法满足不同的智能化系统对知识推理与服务的需求。一方面，知识图谱 在知识表示上，所描述的知识大多为相对确定的静态知识，无法适应知识的快速变化而导 致已有知识的失效；另一方面，在基于知识图谱的知识推理应用上，“实体-关系-实体”的组 织结构可回答“什么是什么的问题”，却不能回答“什么事”，“为什么”，“接下来是什么”等具 有逻辑与时序性的复杂问题，同时也无法对一些事件的演化规律进行推理与预测。例如，在 面对着网络中的大量突发事件处理应用中，利用传统的知识图谱已无法追踪预测突发事 件、判断其影响力来辅助突发事件的决策；特别是在司法领域的应用上，检察官在实际办案 过程中也往往需要人工梳理分析案件中不同事件间的人物关系、空间关系、时序关系等，从 而判断案件中存在的可疑点或矛盾点，或利用以往案例库信息，来寻找不同案件间的局部 关联性，并从中发现更细粒度的事件线索来辅助案件分析与决策。因此，如何将构建一个有 效的事件图谱来辅助不同业务的具体应用，则是人工智能应用领域中一个亟需解决的问 题。 目前事件图谱构建方法主要存在以下四个方面的问题： 一是事件表示简单，定义不统一，且抽取依赖NLP工具，会造成误差传播问题。事件 作为构建事件图谱的元节点，其表示形式的合理性与准确性对事件图谱构建起着关键性的 作用； 二是事件间关系单一，多数研究仅针对因果关系或者时序关系进行研究。而事件 关系则是事件图谱构建的重中之重，在事件预测与推理、智能问答、故事线生成等应用上， 事件多维度的关系会从不同侧面反映出事物发展的规律与模式。但现有研究往往还忽略了 空间关系、深层次的语义关系的重要性； 三是未同时考虑事件与事件间关系对事件图谱构建的影响，而现有研究往往仅从 结构化元事件的抽取性能或事件间关系的抽取性能上来考虑事件图谱的构建质量，这种评 价方式并不完善； 四是由于文本的多源性以及表述的独特性，多个文本或单个文本内部可能存在共 指事件，从而导致事件图谱较为冗余。 7 CN 111581396 A 说　明　书 2/12 页 【
技术实现要素：
】 本发明的目的在于解决现有技术中的问题，提供一种基于多维特征融合与依存句 法的事件图谱构建系统及方法，该方法通过利用多维特征融合的事件抽取、事件修正与对 齐、基于增强结构化事件的关系抽取、基于依存句法与图注意力网络的因果关系抽取、事件 图谱生成模块的联合学习，实现了基于多维特征融合与依存句法的事件图谱构建方法。 为达到上述目的，本发明采用以下技术方案予以实现： 一种基于多维特征融合与依存句法的事件图谱构建系统，包括： 多维特征融合的事件抽取模块，用于采用预训练语言模型BERT学习文本向量表 示，与事件元素的实体类型倾向性特征、词性倾向性特征相融合，同时使用多尺度卷积神经 网络与双向长短期记忆网络捕捉不同长度事件元素的多尺度局部突出特征与上下文语境 特征，最终采用CRF获取最佳序列标注； 事件修正与对齐模块，用于采用事件修正将事件的时间与地点元素标准化，通过 判断事件关键信息是否缺失过滤掉不完备事件，并利用语义相似度计算方法将共指事件对 齐，从而获得增强的结构化事件； 基于增强结构化事件的关系抽取模块，用于利用事件修正与对齐模块来获取并增 强结构化事件中的时间与地点元素，通过时序关系、空间关系的定义，抽取事件间的时序关 系与空间关系；然后利用增强的结构化事件进行相似度计算，再通过设置阈值表示判断两 事件是否语义相关，从而抽取语义关系； 基于依存句法与图注意力网络的因果关系抽取模块，用于将图注意力网络引入因 果关系抽取中，通过Bi-GRU获取文本的上下文语境表示，与基于句法依存关系的图注意力 网络联合对文本数据的图结构及因与果之间的依赖关系进行建模，并通过CRF获取原因事 件与结果事件的标注结果； 事件图谱生成模块，用于将增强的结构化事件与多维事件关系处理成Neo4j支持 的存储形式，通过Neo4j的Import模块导入Neo4j，生成事件图谱。 本发明还公开了一种基于多维特征融合与依存句法的事件图谱构建方法，包括以 下步骤： 阶段0：数据预处理与标记 步骤0：将新闻文本数据利用jieba分词工具将句子分解为单词序列，并给出新闻 文本中所对应的事件标签、事件元素的时间、地点、参与者、对象、触发词的标签、因事件、果 事件以及其他事件标签； 步骤1：对于事件图谱构建中事件抽取任务定义如下：假设每一篇新闻报道R由n个 事件构成，即R＝{e1,e2,…,en}，对于每个事件e，其事件定义为e＝def{P,O,T,L,D}；其中，P 表示事件的主体或客体，代表人；O表示事件的主体或客体，代表物；T表示事件的发生时间； L表示事件的发生地点，上述元素统称为事件元素，并且事件可形式化地表示为<时间、地 点、参与者、对象、触发词>的五元组；事件的抽取任务则是从非结构化文本中识别事件五元 组，并将事件元素角色分类；因果关系抽取任务是识别新闻中的事件的类型M，M∈{cause, effect,other}，分别表示因事件、果事件、其他事件； 阶段1：多维特征融合的联合事件抽取 步骤2：采用BERT编码层的后四层输出的拼接向量作为输入句子的向量表示； 8 CN 111581396 A 说　明　书 3/12 页 Bi＝concat(bi,…,bL)                     (1) 其中，bi预训练语言模型BERT第i层编码层的输出，L为BERT编码层的层数； 步骤3：将其与BERT输出特征相融合作为文本的嵌入表示，词性与实体类型采用 Pyltp进行标注，并将其特征编码，则文本嵌入表示为： 其中，Posi表示词性倾向特征，Entityi表示实体类型特征； 步骤4：获取到文本嵌入表示后，采用BiLSTM获取文本的上下文语境表示，此时的 隐藏层状态 表示为： 步骤5：将文本嵌入 表示输入至Multi-CNN中，利用尺度分别为1、3、5的卷积核获 取不同尺度的感受野，通过多尺度的卷积核编码不同长度事件元素的多尺度局部突出特 征，卷积操作如下： cij＝f(wj·xi:i h-1 bj)                    (4) 其中，j,b∈R，wj表示第j个滤波器，b表示偏置项，f表示一个非线性函数，h表示卷 积核大小； 步骤6：将文本嵌入 尺度为1、3、5卷积核的Multi-CNN的输出向量C1 ,C3 ,C5、 BiLSTM的隐藏层状态 拼接为最后的多维度特征向量O： 通过一个全连接层将特征O映射到样本空间，并添加Dropout层防止模型训练过程 中出现过拟合现象； 步骤7：将全连接层输出输入到CRF中，获取最佳序列标注；即给定一个句子S＝ (x1,x2,...,xn)，其预测结果为Y＝(y1,y2,...,yn)，其评分函数如下： 其中，H是分数转换的矩阵， 表示从第i个标签到第i 1个标签的转换分数，P 是是全连接层的输出矩阵， 表示第i个词的标签类别是yi的得分； 步骤8：利用softmax将预测得分映射到相应类别的概率； 其中，Y'表示所有可能的标记序列；在训练过程中采用负的对数概率作为损失函 数 如下： 阶段2：事件修正与对齐 步骤9：采用结构化事件中存在的上下文事件时间或新闻报道时间，来对事件发生 9 CN 111581396 A 说　明　书 4/12 页 时间进行补充修正；同时，采用Python中的cpca模块作为外部知识对空间信息进行修正； 步骤10：对缺少关键信息的所有不完备的事件直接进行过滤； 步骤11：在事件对齐过程中，采用语义相似度计算将事件对齐；采用word2vec训练 词向量将事件元素表示成文本空间向量，将相似度计算简化成向量空间的向量计算，通过 向量的夹角余弦距离度量两事件的语义相似度；若a1i＝(x11 ,x12 ,...,x1n)，a2i＝(x21 , x22,...,x2n)分别表示事件event1和事件event2的事件元素，事件元素的余弦相似度计算与 归一化如下： 阶段3：基于增强结构化事件的关系抽取 步骤12：采用增强的结构化事件作为输入；其中，时序关系是指事件A和事件B之间 存在时间上的先后顺序，即事件A发生在事件B之后或之前，或在没有时间信息时在原文中 的序列关系；若多个事件之间的时间元素不为空时，则判断事件发生时间的先后顺序，将其 作为事件间的时序关系，若事件时间元素为空时，则将此事件与上下文事件的序列关系作 为时序关系； 步骤13：采用增强的结构化事件作为输入；其中，空间关系是指事件A的发生地点 与事件B的发生地点所在省份或市区相同的关系；若事件event1、event2仅有省级信息，且 两事件在地点元素上具有相同的省级信息，则认为其空间相关；类似地，若一事件包括市级 信息，则从市级上分析与其空间相关的事件，若相同，则认为其空间相关； 步骤14：采用增强的结构化事件作为输入；其中，语义关系是指事件A的事件元素 与事件B的事件元素之间存在相似关系，当相似度越高时，认为两事件潜在的语义关系越密 切；采用步骤11中的语义相似度计算方法，其两事件间相似度大小作为两事件语义相似程 度； 阶段4：基于依存句法与图注意力网络的因果关系抽取 步骤15：采用新闻文本作为输入；其中，因果关系指事件A的发生引起事件B的发 生，其中事件A称为原因事件，事件B成为结果事件；利用图注意力网络与传统的Bi-GRU CRF 相结合的方法抽取因果关系；首先，采用Word2vec训练词向量，将文本转化为输入特征向 量；同时，利用句法依存分析工具StanfordCoreNLP将句子处理成依存句法结构形式，并采 用有向图邻接矩阵存储形式进行存储； 步骤16：将输入特征向量输入双向GRU，获取单词的隐藏层状态 步骤17：将Bi-GRU层输出的上下文特征向量 和句法依存分析得到的邻接矩阵输 入GAT层进行图注意力计算；对于句法依存树中每个顶点词，计算与其句法依存关系相邻顶 点词的注意力因子eij，然后将注意力因子进行归一化得到注意力系数αij，通过注意力系数 10 CN 111581396 A 说　明　书 5/12 页 αij对特征进行加权求和，得到每个顶点在GAT层的输出特征 步骤18：采用了多头注意力把互相独立的注意力向量进行拼接，得到单层GAT的输 出特征向量 步骤19：将GAT网络堆叠为n层，在最后一层GAT网络的输出上取前n层GAT网络输出 的平均值；通过GAT网络建模图形数据，并通过注意力机制将注意力放在原因事件词和结果 事件词上，为其分配权重； 步骤20：将GAT层的输出特征向量输入CRF层，即给定一个句子X＝(x1,x2,...,xn)， 事件因果关系预测结果为Y＝(y1,y2,...,yn)，采用下式对其事件类型进行评分： 其中，H是分数转换的矩阵， 表示从第i个标签到第i 1个标签的转换分数，P 是GAT层的输出矩阵，其大小为N×K，N是词的数量，K是标签类别；然后利用softmax将预测 得分映射到相应因果关系类别的概率： 其中，Y′代表所有可能的标记序列；采用负的对数概率作为损失函数 步骤21：采用增强的结构化事件将因果关系中事件结构化，并将共指事件对齐； 阶段5：事件图谱生成 步骤22：为阶段2获取的每一个事件分配一个唯一的id，并将增强的结构化事件以 csv格式存储，同时将事件时序、空间、语义、因果关系通过<事件id，关系类型，事件id>三元 组以csv格式存储； 步骤23：将事件节点集及事件间关系集的csv文件通过Neo4j的import模块批量导 入Neo4j数据库中，在导入过程中将事件作为节点，事件元素五元组作为事件节点的属性， 11 CN 111581396 A 说　明　书 6/12 页 分别为：时间、地点、参与者、对象、触发词；事件间关系作为边，边的类型有：时序关系、空间 关系、语义关系、因果关系；依据需求构建单维事件图谱或多维事件图谱，将时序关系与因 果关系相结合构建两维事件图谱。 所述步骤11中，在事件event1和事件event2的相似度计算过程中，仅选取两事件间 均不为空的事件元素来衡量两事件间的语义相似度，其计算如下： 事件间相似度越接近于1，则两个事件的相似度越高，且这两事件越可能是共指事 件，故若事件语义相似度大于设置阈值μ时，则认为两事件共指，则过滤掉其中事件元素较 少的事件。 与现有技术相比，本发明具有以下有益效果： 本发明通过增强的结构化事件的五元组信息、四个维度的事件间关系构建事件图 谱，克服了现有技术中事件表示简单且依赖NLP工具、事件关系单一、未同时考虑事件与事 件间关系对事件图谱构建的影响的缺陷。 进一步的，本发明统一将事件表示成<时间、地点、参与者、对象、触发词>的五元组 信息，将事件发生的时间和地点作为事件元素之一，事件知识可以随着时间和空间的变化 而改变。此外，在抽取过程中将事件元素的实体类型倾向性与词性倾向性特征纳入考虑，通 过上下文语境特征与多尺度特征的融合的方法提高了事件抽取的性能，增强了事件图谱的 中事件表示的合理性与准确性； 进一步的，本发明利用事件上下文信息以及外部知识对事件元素进行修正与标准 化，提高了事件图谱的完备性，利用语义相似度计算将共指事件对齐，降低了事件图谱的冗 余性； 进一步的，本发明充分利用结构化的事件信息抽取时序关系、空间关系及语义关 系，增加了事件关系的维度，可以从不同侧面反映事物发展规律与模式，辅助提高事件预测 与推理、智能问答、故事线生成等应用性能； 进一步的，本发明将因果关系抽取任务形式化为序列标注任务从而可抽取多因多 果式、一因多果式、多因一果式的因果关系，将图注意力网络引入因果关系抽取模型中，对 图数据结构进行半监督学习，并通过依存句法的邻接矩阵表示与Bi-GRU隐藏层输出进行图 注意力计算，将独立的词特征通过依赖关系和GAT网络为邻接节点分配不同大小的注意力 权重，进而聚焦于比较重要的词特征以及因果之间潜在的依赖关系，从而提高因果关系抽 取的性能。 进一步的，本发明提出的事件图谱构建方法，依据下游任务不同，可以将四种维度 的事件间关系任意组合，学习事件图谱的结构特性与潜在的知识联系，从而辅助下游应用。 【附图说明】 图1为本发明的整体逻辑架构图； 图2为本发明中使用的句法依存分析； 图3本发明中涉及到的句法依存的有向图矩阵； 图4为本发明中涉及的两维时序因果图谱； 12 CN 111581396 A 说　明　书 7/12 页 图5为本发明中涉及的单维因果图谱。 【