电子商务网站建设的主页,中英双语网站模板,wordpress定制主题,网站建设需要精通什么知识本文转载自公众号#xff1a;PaperWeekly。论文笔记来自 PaperWeekly 社区用户 britin。本文对基于 RNN 的从大规模知识库中进行推理进行了精度和可操作性的改善#xff0c;提出的模型使用单个 RNN 就可以在多种 relation types 之间进行推理。如果你对本文工作感兴趣#x… 本文转载自公众号PaperWeekly。论文笔记来自 PaperWeekly 社区用户 britin。本文对基于 RNN 的从大规模知识库中进行推理进行了精度和可操作性的改善提出的模型使用单个 RNN 就可以在多种 relation types 之间进行推理。 如果你对本文工作感兴趣点击底部的阅读原文即可查看原论文。关于作者Britin中科院物理学硕士研究方向为自然语言处理和计算机视觉。■ 论文 | Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks■ 链接 | https://www.paperweekly.site/papers/1521■ 源码 | https://rajarshd.github.io/ChainsofReasoning论文动机使用神经网络进行更为复杂的推理以增加 KB 中的条目正在引起广泛关注这么做的一个重要原因是为了同时支持 look-up 类型的问答系统以及从 entity 和 relation 中间接推理到答案的问答系统。KB 通常是非常不完整的推理可以完善那些缺失的信息。见下图已有的方法大多是基于 symbolic 和 logical 的推理系统比如 Universal Schema它学习 relation type 的向量表示包括结构化 KB 中的以及自然语言文本中的关系表示其中的 matrix completion 机制可以进行简单的推理但只能对单条 evidence 进行操作比如从 microsoft-located-in-seattle 推理出 microsoft-HQ-in-seattle。更高级的推理是从从句中得到包含三个或更多实体的 multi-hop 的知识库图路径。比如可以从 Melinda–spouse–Bill–chairman–Microsoft–HQ-in–Seattle 得到 Melinda–lives-in–Seattle。这种推理通常用 path ranking algorithm 进行。RNN 沿着任意长度的路径组成了每条边关系的 embeddings输出一个表示路径两端实体之间关系的向量表示。但是这些方法只能用于小型或人造数据库上并且对于许多情况下来说还是不准确不实际。 本文提出的方法则可以对大型的多语义 KB 进行推理本文对基于 RNN 的从大规模 KB 中进行推理进行了精度和可操作性的改善之前的工作只推理了 relation没有推理组成路径上节点的 entities本文对关系类型实体和实体类型进行了联合学习和推理。本文使用了 neural attention 机制对多条路径进行推理。之前的方法最大的问题是要为每一个需要预测的 relation-type 单独训练模型。而本文只训练一个 RNN 来预测所有的 relation type。另外由于训练的 multi-task 特性共享了 RNN 参数精度也显著提高了。模型介绍本文首先介绍了基本的 Path-RNN 的架构本文的一切改进都是基于该模型的。Path-RNN 的输入是两个实体之间的路径输出推理出的二者之间的新关系。通过将关系之间的连接用 RNN 表示来进行推理。路径的表示是在处理完路径中所有的关系之后由 RNN 的最后的隐状态给出的。 架构如图所示对每一条可能的路径用一个 RNN 来表示将改路径每一个节点上的 entity 和连接的 relation 进行向量化后输入一个 RNN 单元整条路径的最终向量表示就是 RNN 最后一个单元输出的 Hidden state将改路径的向量表示和要预测的关系的向量表示求相似度相似度最高的就是目标路径。这个模型的缺点是每一个 relation type 都要训练一个新的模型变量无法共享数量巨大。另外只选择相似度最高的那一个路径可能会忽略掉其他路径所隐含的信息还造成了计算浪费。本文对这个模型做出的改进有本文共享了 relation type 的表示以及 RNN 的 composition matrices这样同样的训练数据变量就大大减少了。训练模型的损失函数用的是 negative log-likelihood。分别用 Top-kaverage 和 LogSumExp 方法为每一条路径的相似度评分加上权重这样就考虑了每一条路径包含的信息而不仅仅是评分最高的那条。实验结果本文在一个大型的 freebase 实体和关系数据集以及 clueweb 文本数据集上做了验证。和先前最好的结果相比本文在 MAP 上提高了 25%。另外本文还单独设计了一个验证来验证在同一个 RNN 中共享 strength 的效果结果证明在训练过程中一些出现频率较小的关系也提高了 54% 的精度。本文还在另一个数据集上做了验证chains of resoning in WordNet。和目前最好的结果相比在平均分位数上的错误率减少了 84%。文章评价本文提出的模型使用单个 RNN 就可以在多种 relation types 之间进行推理。并且利用了多条可能路径以及路径间所有实体和关系的综合信息这些信息在之前的方法中都是忽略的极大程度的提高了精度。但是由于数据的稀疏性在处理较长的文本特征时性能就会减弱。 -End-关于PaperWeeklyPaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。▽ 点击 | 阅读原文 | 查看原论文OpenKG.CN中文开放知识图谱简称OpenKG.CN旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。
