青岛网站建设比较好,响应式网页设计用什么软件,艺术字设计,wordpress app制作引言
今天带来论文A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES的阅读笔记。
很多NLP任务，包括阅读理解、文本蕴含和问答任务，都需要在序列之间进行比较。匹配序列间重要的单位是这些解决这些任务的关键。本篇工作提出了一个通用的比较聚合(compare-aggragate)框…引言
今天带来论文A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES的阅读笔记。
很多NLP任务，包括阅读理解、文本蕴含和问答任务，都需要在序列之间进行比较。匹配序列间重要的单位是这些解决这些任务的关键。本篇工作提出了一个通用的比较聚合(compare-aggragate)框架执行单词级匹配，然后使用CNN进行聚合。
比较聚合网络并不是作者首先提出来的，但作者认为前人的工作有一些不足：
只能应用到一两个任务，不能体出现比较聚合框架的泛化性。对比较部分的组成单元选择比较简单，比较函数单一。而本篇工作作者使用了六种不同的比较函数，实验结果证明作者提出的模型在不同任务的四份数据集(问答和蕴含任务)上达到了当时的SOTA结果。作者也着重强调了element-wise(逐元素级)函数作为交互效果明显。
本篇工作的贡献有：
使用四种不同的数据集，证明了作者提出的模型在这些数据集上达到了SOTA结果。系统地评估了不同的比较函数，并且得出了element-wise的比较函数效果最好。相关工作 孪生神经网络(Siamense network) 基于相同参数的网络，比如RNN或CNN来分别构建不同语句的表示，然后可以用于分类或文本表示。 注意力网络(Attentive network) 广泛应用注意力机制到机器阅读理解、文本蕴含和问答任务。这类工作通常不是应用RNN的最后一个状态去表示一个语句，而是对RNN的所有状态进
