重庆做公司网站,高端酒店网站模板,企业产品营销策划推广,北京文化馆设计公司哪种论文笔记整理#xff1a;吴桐桐#xff0c;东南大学博士生#xff0c;研究方向为自然语言处理。链接#xff1a;https://www.aclweb.org/anthology/P19-1226/近年来#xff0c;机器阅读理解已经逐渐发展为自然语言理解方向的主流任务之一。最近#xff0c;预训练模型尤其… 论文笔记整理吴桐桐东南大学博士生研究方向为自然语言处理。链接https://www.aclweb.org/anthology/P19-1226/ 近年来机器阅读理解已经逐渐发展为自然语言理解方向的主流任务之一。最近预训练模型尤其是 BERT在各项阅读理解任务中取得了不俗的表现。该篇文章沿用了预训练模型精调的思路在经典的 BERT 模型的基础上通过引入知识图谱中的语义信息来增强阅读理解模型感知上下文和知识的能力。不同于 ERNIE(百度)ERNIE(清华)以及 K-BERT(腾讯)等模型在预训练阶段就引入外部知识该模型设计了 Knowledge Integration 模块用于在面向任务的精调阶段引入知识。这里的知识特指存在于 NELL 和 WordNet 中的概念及同义词等信息。本文核心思想在于强调对两个数据源信息的整合(Integration), 即通过预训练模型BERT学习自然语言文本信息通过预训练的表示学习模型学习知识图谱全局拓扑结构信息整合的过程也是挑选知识的过程模型学习的目标之一是学会如何挑选对当前任务有用的知识概念的能力。如上图所示来自数据集 ReCoRD普通的BERT模型在没有美国政权等相关背景知识及低频词汇的语义关系的前提下很难仅通过段落的字面表达选取正确的答案只有在我们补充了特朗普和美国政府的关系以及 sanctions 与ban是近义词之后才能让模型明白问题的含义从而作出正确的回答。结构KT-Bert 中引入知识的基本单元是单词即文本中的每一个词汇都会去知识库中寻找相关的概念和同义词并取出已经预训练的 KB embedding 作为知识的候选集。KT-Bert 通过双线性层对文本表示以及知识图谱表示进行关联也就是利用 attention 机制计算每一条候选知识在当前任务中的贡献程度。总结本文模型结构清晰例证符合推断同时在标准数据集上的效果提升明显。核心模块 Knowledge Integration 虽然和[1]中的 KBLSTM 比较相似但的确是一种引入知识的可行方案之一。在零样本、少样本问题长尾问题数据不均衡问题等设定下如何引入知识在模型的什么位置引入外部知识引入什么样的外部知识都是值得研究的内容更进一步的如何判断是否需要引入知识引入具体的哪几条知识更有待于我们持续探索。 [1] Yang, B., Mitchell, T., 2017. Leveraging Knowledge Bases in LSTMs for Improving Machine Reading. Association for Computational Linguistics, pp. 1436–1446. OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
