大连外贸网站制作,宁夏手机网站建设,长春是几线城市2020,太原做网站软件论文笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士生#xff0c;研究方向为知识库问答。来源#xff1a;EMNLP 2018链接#xff1a;https://www.aclweb.org/anthology/D18-1242文章表示#xff0c;复杂问答所面对的问题往往包含多种实体和关系#xff08;来自知识库… 论文笔记整理谭亦鸣东南大学博士生研究方向为知识库问答。来源EMNLP 2018链接https://www.aclweb.org/anthology/D18-1242 文章表示复杂问答所面对的问题往往包含多种实体和关系来自知识库现有的知识库问答模型在复杂问答表现不足的主要原因在于无法同时表示问题本身以及对应的复杂查询结构作者提出将复杂查询编码为统一的向量表示这种方式成功捕捉到复杂问题中各语块之间的相互作用实验表明这种方法在复杂问答上的优异性能以及在简单问答任务上的有效性。 动机现有神经网络知识库问答模型在简单问答任务一般遵循以下框架编码-对比主要环节包括将问题与谓词序列编码为同一空间的语义向量而后通过相似度计算实现谓词预测。当面对复杂问题时直觉上需要将原始问题的复杂查询图多个谓词序列切分为子查询语块再进行相似度计算。作者认为这种方式存在两个明显的缺陷1. 子语块无法与整个问题进行比较2. 模型分别对各语块进行编码而忽略了查询图的整体语义信息为了解决上述两个缺陷作者提出一种改进的神经网络方法用于提升复杂问答中语义相似计算的准确性。 贡献1. 提出一种轻量且有效的神经网络模型用于复杂问题解答2. 在神经网络模型中添加问题依存解析结果用于强化问题的表示学习并证明其有效性3. 提出一种融合方法强化现有实体链接工具4. 在多个问答数据集上验证了模型的有效性包括简单问答和复杂问答 方法面向复杂问题的KBQA方法包含以下部分1. 候选查询图生成2. 计算查询图与问题的语义相似性3. 强化的实体链接4. 训练和预测损失函数 候选查询图生成 对于一个复杂问题来说查询图的生成过程包含以下步骤如图2所示1. Focuslinking焦点链接包含实体链接S-MART工具实现类型链接抽取文本的123元文法通过词嵌入相似性得到排名top 10的类型结果时间链接使用日期格式匹配得到排序链接构建最高级词表/序数最高级模板等四种2. MainPath Generation主要路径生成通过从答案节点出发连接到不同的焦点实体通过谓词序列进行1跳或2跳可以得到多个不同主要路径3. Applying entity constraint实体约束将实体链接节点添加到路径上4. Applying all constraint其他约束添加类型时间排序约束节点到路径中 语义相似度计算 基于神经网络的复杂问答语义匹配模型如图所示步骤概括如下1. 首先原始问题中的实体/时间均被替换为标识符E/Tm并且得到其依存解析结果序列分别使用BiGRU编码并相加融合得到其表示2. 为了编码复杂查询图以答案节点为起始对不同谓词路径进行切分分别编码路径的谓词id及其自然语言描述而后相加融合3. 计算问题编码结果与查询图编码结果的相似性公式如下 强化的实体链接 作者发现S-MART工具虽然在实体链接上具有非常优秀的准确性但其召回率较低。为了解决这一问题作者提出构建一个整合方法进行强化首先从Wikipedia中收集所有的(mention, entity) pair集其中每一组pair包含一系列的统计特征链接概率letter-tri-gram jaccard 相似性popularity of the entity in Wikipedia等等对于集合中能被S-MART找到的部分利用一个两层的线性回归模型拟合其链接得分从而训练模型用于预测每组pair的链接概率提取其得到的Top-K样本强化S-MART的结果。 模型训练和预测 为了从候选查询图中识别出最优的结果需要计算问题和每个查询图之间的全局联合得分overall association score这个得分由实体链接/语义匹配/结构等级等特征得分加权得到具体特征如下表所示 训练过程考虑正负例共同构成的损失函数如下实验数据集问答数据集1. ComplexQuestions (Bao et al., 2016);2. WebQuestions (Berant et al., 2013);3. SimpleQuestions (Bordes et al., 2015);知识库Freebase dump (host with Virtuoso engine) 实验结果对于作者提出的End2End模型在CompQ与WebQ数据集上的结果如下评价指标为答案的平均F1值。可以看到对于复杂问题的解答性能上该模型相对其他方法有显著提升在简单问答任务上也展现出较为优秀的性能。同时模型在SimpleQ数据上的结果也取得了不错的性能。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
