重庆开发网站,免费互联主机,南宁网站建设咨询云尚网络,安康网站制作论文笔记整理#xff1a;王狄烽#xff0c;南京大学硕士#xff0c;研究方向为关系抽取、知识库补全。链接#xff1a;https://arxiv.org/pdf/1903.01306.pdf发表会议#xff1a;NAACL2019动机现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪王狄烽南京大学硕士研究方向为关系抽取、知识库补全。链接https://arxiv.org/pdf/1903.01306.pdf发表会议NAACL2019动机现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪从而提升模型效果而忽略了长尾关系的抽取使得长尾关系抽取效果极差。但是长尾关系的存在是不可忽略的在NYT数据集中大约70%的关系属于长尾关系即该关系训练实例数量较少少于1000。如何提高模型对长尾关系抽取效果是该篇论文主要出发点。贡献该篇论文的主要贡献如下1、提出了一种长尾关系远程监督抽取的模型2、联合使用KG embeddings 和 GCNs 来学习关系丰富的语义信息3、利用coarse-to-fine knowledge-aware mechanism 来利用关系语义信息4、在NYT数据集上的结果表明当前模型在长尾关系的抽取上取得了state-of-the-art的效果。方法在方法整体思路上遵从前人工作利用语义相近的head关系辅助训练长尾关系从而缩小关系抽取时潜在的搜索空间、减少关系之间的不确定性。该思路的两个要点在于1、如何学习得到关系语义信息2、如何利用学习得到的关系语义信息。对于如何学习得到关系语义信息该论文首先利用现有的KG embeddings方法如TransE等学习得到关系的隐式语义信息但是因为TransE等模型无法有效建模关系的一对多、多对多情况从而仅仅通过KG embedding方法无法有效获取关系的语义信息。因此论文中使用图卷积网络GCNs从关系的层次结构中获取关系的显式语义信息。最后将关系的隐式语义信息和显式语义信息进行结合从而得到最终的关系语义信息表示。对于如何利用学习得到的关系语义信息该论文首先利用CNN将句子编码为低维向量然后使用 coarse-to-fine knowledge-aware mechanism 从多个同实体对句子多实例学习加权得到最终的句子向量表示。模型的框架图如下所示从模型框架图中可以看出其方法主要包含三个部分1、实例编码模块利用CNNs对句子进行编码2、关系知识学习模块利用KG embedding和GCNs得到关系的语义表示3、Knowledge-aware注意力模块利用关系语义信息对同实体对的多个句子进行加权得到最终句子的语义表示。1、实例编码模块 给定一个句子及其包含的两个entity mentions利用CNN或PCNN模型将原始的句子 s 映射到一个低维连续空间中得到向量x该论文使用的特征包括1、预训练Skip-Gram word embedding2、position embeddings。 2、关系知识学习模块在关系知识学习中综合利用 KG embedding 和 GCNs 得到关系的语义表示。对于KG embedding 使用 TransE 对知识进行预训练从而得到关系的隐式表示。对于如何使用GCNs得到关系的显示表示论文中首先构建了关系的层次结构图关系的层次结构图可以使用hierarchy clustering (Johnson, 1967) or K-means算法结构构建也可以使用现有知识图谱中关系的层次结构。关系的层次结构图如下所示。对于构建的关系层次结构图底部的节点用TransE预训练的关系向量进行初始化父节点初始化为子节点平均值。使用两层GCN对构建的关系层次图进行迭代训练GCN 输出层公式如下最终关系的语义表示为3、Knowledge-aware注意力模块依从多实例学习对于给定的实体对以及相关的多个句子对于一个关系r我们可以得到其关系的层次链其中是的子关系。我们计算 Attention 操作在关系层次链的每一层从而得到每一层文本相关的关系表示具体公式如下考虑到不同层次的关系对最终实例表示的贡献的不同对每一层关系表示使用Attention操作,其中使用作为score-function,表示输入关系r和该层预测关系r’之间的匹配层度计算公式如下最后使用来计算计算公式如下实验1、数据集NYT datasetRelations number53Training set522611 sentences281270 entity pair18252 relation factsTest set172448 sentences96678 entity pairs1950 relation facts2、实验结果3、长尾关系实验结果说明为了体现模型在长尾关系的有效性作者选择了实例数少于100/200的长尾关系以长尾关系构建测试子集进行实验实验结果如下。总结本文针对长尾关系抽取提出了一种利用KG embedding和GCNs学习关系知识以及使用注意力机制利用学习得到的关系语义信息的模型。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
