网站开发最重要的技巧,wordpress文章分类能编辑,网上购物app有哪些,wordpress评论数论文笔记整理#xff1a;窦春柳#xff0c;天津大学硕士#xff0c;方向#xff1a;自然语言处理链接#xff1a;https://arxiv.org/pdf/1503.00075.pdf动机由于长短期记忆网络#xff08;LSTM#xff09;这种具有复杂单元的循环神经网络具有良好的表示序列信息的能力窦春柳天津大学硕士方向自然语言处理链接https://arxiv.org/pdf/1503.00075.pdf动机由于长短期记忆网络LSTM这种具有复杂单元的循环神经网络具有良好的表示序列信息的能力其在多种序列模型任务中都取得了非常好的结果。到目前为止一直被使用的LSTM是一个线性结构。然而自然语言表现一种将单词组合在一起形成短语的句法结构。本文引入了Tree-LSTM将LSTM推广到树状的网络拓扑结构。在两个任务的baseline上Tree-LSTMs都要优于现有的系统预测两个句子的语义相关性和情感分类。亮点本文的亮点主要包括1将LSTM推广到树状的网络拓扑结构并且它展示出比序列LSTM更好的性能。标准LSTM可以看作是Tree-LSTM的一种特殊情况。2利用实验验证了Tree-LSTM作为句子的表示模型具有很好的效果。主要在两个任务上去评估Tree-LSTM结构句子对间的语义相关性的预测以及来自于电影影评的句子情感分类。概念及模型本文提出了由基本LSTM扩展出的两种结构Child-Sum Tree-LSTM和N-ary Tree-LSTM。这两个变种均允许更丰富的网络拓扑结构其中每个LSTM单元能够联合来自多个子单元的信息。Tree-LSTM单元正如标准的LSTM单元那样Tree-LSTM单元由j标识都包含输入输出门i_j, o_j一个记忆单元 c_j以及隐藏状态 h_j。其与标准LSTM单元的不同之处在于门向量和记忆单元的更新依赖于许多子单元。另外该单元并不只包含一个遗忘门Tree-LSTM单元对每一个子单元均包含一个遗忘门 f_jk。这有助于Tree-LSTM单元有选择地联合来自于每一个子单元的信息。每一个Tree-LSTM单元都有一个输入向量 x_j。在我们的应用当中每一个 x_j 是一句话中一个单词的向量表示。每一个节点的输入单词依赖于当前网络的树结构。 Child-Sum Tree-LSTMs给定一棵树令 C(j) 为节点j的所有子节点的集合。Child-Sum Tree-LSTM的转移等式如下应用Dependency Tree-LSTMs由于Child-Sum Tree-LSTM单元根据子单元隐藏状态 h_k 的总和调整其组件因此适用于具有多分支或其子节点无序的树。例如它是依存树的一个很好的选择其中头的依存数目可以是高度可变的我们将应用于依存树的Child-Sum Tree-LSTM称为Dependency Tree-LSTM。N-ary Tree-LSTMsN -ary Tree-LSTM可用于树结构其中分支因子最多为N并且子项是有序的即它们可以从1到N索引。对于任何节点j分别将其第k个孩子节点的隐藏状态和记忆细胞表示为 h_jk 和 c_jk。N -ary Tree-LSTM的转移等式如下为每个孩子k引入单独的参数矩阵允许N-Tree Tree-LSTM模型在单元上对孩子状态学习比Child Sum Tree-LSTM更细粒度。例如考虑一个选区树应用程序其中节点的左孩子节点对应于名词短语右孩子节点对应动词短语。假设在这种情况下强调表示中的动词短语是有利的。遗忘门参数化。在等式10中定义了第k个孩子的遗忘门 f_jk其中包含了“非对角线”参数矩阵 U_kl^(f)。此参数化允许更灵活地控制从孩子到父节点的信息传播。例如这允许二叉树中的左隐藏状态对右孩子的遗忘门具有兴奋或抑制效果。但是对于较大的N值这些附加参数是不切实际的可以绑定或固定为零。应用Constituency Tree-LSTMs我们可以自然地将Binary Tree-LSTM单元应用于二值化选区树因为区分了左右子节点。我们将Binary Tree-LSTM的这种应用称为Constituency Tree-LSTM。注意在选区树-LSTM中节点j仅在它是叶节点时才接收输入向量。模型现在描述两个应用是上面描述的Tree-LSTM架构的特定模型。1.Tree-LSTM分类在此背景中我们希望从树的一些子节点的离散类Y中预测标签。例如解析树中节点的标签可以对应于该节点所跨越的短语的某些属性。在每个节点j我们使用softmax分类器来预测标签给定在以j为根的子树中的节点处观察到的输入 {x}_j。分类器将节点处的隐藏状态 h_j 作为输入代价函数是每个标记节点上正确类标签 y^(k) 的负对数似然其中m是训练集中标记节点的数量上标k表示第k个标记节点λ是L2正则化超参数。2.句子对的语义相关性给定句子对我们希望预测[1,K]在某个范围内的实值相似度得分其中是K1整数。序列{1,2,...,K}是一些序数相似度其中较高的分数表示较高的相似度。首先使用每个句子的解析树上的Tree-LSTM模型为对每个句子生成句子表示 h_L 和 h_R。给定这些句子表示使用神经网络预测的相似性得分该神经网络同时考虑(h_L, h_R) 对之间的距离和角度其中 r^T [1,2,3...K]。使用距离测量 h_x和 h_ 是出于经验发现组合优于单独使用任何一种测量。乘法度量 h_x 可以解释为输入表示符号的元素比较。本文希望给定模型参数 Theta 的预测分布下的预期评级接近评级 。因此定义了满足 yr^T p 的系数目标分布代价函数是p和 之间正则化的KL-发散其中m是训练对的数量上标k表示第k个句子对。理论分析实验1.Sentiment Classification数据集采用Stanford Sentiment Treebank(SST)任务主要是二分类和fine-grained(五分类)。结果如下图所示结果分析在fine-grained的task上作者提出的 Constituency Tree-LSTM 获得了最好的效果Glove vectorstuned指使用Glove词向量初始化embedding在训练过程中不断更新embedding在二分类上达到了SOA的结果但是并没有实现指标上的超越。Constituency Tree-LSTM比Dependency Tree-LSTM表现好的原因可能在于前者使用了更多的labeled 数据因为仅从二者树结构对比来说前者会比后者产生更多的nodes(319K vs 150K).2. Semantic Relatedness数据集采用Sentences Involving Compositional Knowledge (SICK)评价指标包括Pearson系数Spearman相关系数和MSE。结果如下图所示结果分析作者在这个数据集上分别跟non-LSTM模型、RNN模型、LSTM模型做了对比均实现了指标上的超越。总结本文引入了Tree-LSTM将LSTM推广到树状的网络拓扑结构。通过在两个任务证明了Tree-LSTM的有效性语义相关性和情感分类两者均优于现有系统。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
