网站建设公司骗人,关键词优化的价格查询,百度推广管家登录,物流网站建设公司笔记整理 | 孙悦#xff0c;天津大学1. 介绍#xff1a;知识图的链接预测是预测实体之间缺失关系的任务。先前有关链接预测的工作集中在浅#xff0c;快速的模型上#xff0c;这些模型可以缩放到大型知识图例如基于基于平移变换的 TransE 系列。但是#xff0c;这些模型比… 笔记整理 | 孙悦天津大学1. 介绍知识图的链接预测是预测实体之间缺失关系的任务。先前有关链接预测的工作集中在浅快速的模型上这些模型可以缩放到大型知识图例如基于基于平移变换的 TransE 系列。但是这些模型比深层次的多层模型学习的表达功能要少这可能会限制性能。本文中提出了一种多层卷积网络模型ConvE用于链路预测。该模型在建模具有高度关联性的节点时非常有效而高度关联的复杂知识图例如Freebase和YAGO3非常常见。2.背景知识图谱中的链接预测模型通常由简单的操作组成例如内积和嵌入空间上的矩阵乘法并使用数量有限的参数其特征在于嵌入参数之间的三向交互每个参数产生一个特征。使用这种简单快速浅层的模型可以使人们按比例缩放到较大的知识图而代价是学习较少的表达特征导致最终连接预测的效果堪忧。增加浅层模型中特征的数量从而提高其表达能力的唯一方法是增加嵌入大小。但是这样做导致无法缩放到较大的知识图因为嵌入参数的总数与图中实体和关系的数量成比例。解决浅层架构的缩放问题以及完全连接的深层架构的过拟合问题的一种方法是使用参数有效的快速运算符该运算符可以组成深层网络。基于此作者想到了卷积操作通常在计算机视觉中使用的卷积运算符具有这些特性由于高度优化的GPU实现它具有高效的参数和快速的计算能力。此外由于其无处不在的使用在训练多层卷积网络时已经建立了鲁棒的方法来控制过度拟合。在本文中提出了ConvE该模型在嵌入上使用2D卷积来预测知识图中的缺失链接。ConvE 是用于链接预测的最简单的多层卷积体系结构它由单个卷积层嵌入尺寸的投影层和内部乘积层定义。文章的贡献如下本文的贡献如下1引入了一个简单的竞争性的2D卷积链接预测模型ConvE。2开发了一个1-N 的评分过程将训练速度提高三倍并将评估速度提高300倍。3确定本文的模型具有很高的参数效率在参数减少8倍和17倍的情况下在FB15k-237上比DistMult和R-GCN得分更高。4表明对于以indegree和PageRank衡量的日益复杂的知识图本文的模型与浅层模型之间的性能差异与图的复杂度成比例地增加。5系统研究跨常用链接预测数据集报告的逆关系测试集泄漏并在必要时引入可靠的数据集版本以便使用简单的基于规则的模型无法解决它们。对于给出一个三元组再利用模型对他们的表示进行嵌入后的评分函数本文给出了一个总结3.Convolutional 2D Knowledge Graphs Embeddings模型架构如下所示训练过程首先先通过预训练方法得到头节点和关系的初始表示。按照把这两个一维向量reshape成二维再通过若干个卷机核得到相应的feature map。将这些feature map展开成一维向量再通过一个全连接层获得到我们最终的关于这个头节点和关系的嵌入表示。最后和所有entity表示构成的entity matrix相乘得到对应于每一个尾节点的得分。加上一个sigmoid层即得到预测分数。scoring function为训练过程中使用logistic sigmoid function来计算评分之后最小化二分类损失函数快速评估与其他将实体对和关系作为三元组sro并对其进行评分1-1评分不同。可以看到这个模型一次性和多个尾节点比较可以得出多个三元组的评分1-N得分。因此该方法适用于大型知识图谱。4.实验1参数有效性2模型表现3测试集中逆关系的泄露问题为了系统研究此问题的严重性本文构建了一个简单的基于规则的模型该模型仅对逆关系建模称之为逆模型。该模型自动从训练集中提取逆关系给定两个关系对r1r2∈R我们检查sr1o是否隐含or2s反之亦然。在测试时我们检查三元组是否在测试集之外具有逆匹配项如果找到了k个匹配项则对这些匹配项的前k个排名进行排列如果找不到匹配项则为测试三元组选择一个随机排名。如上表34逆模型在FB15k和WN18的许多不同指标上都达到了最新水平。但是它未能适应YAGO3-10和FB15k-237的逆关系。但在去除了逆关系的数据集上表现就很差了。4消融分析 5为什么在WN18RR数据集上的表现欠佳本文提出的方法在YAGO3-10和FB15k-237等数据集上与WN18RR相比具有良好的性能。作者发现使发现WN18RR和其它数据集相比其结点入度要小很多认为表示如此高入度的节点需要捕获所有入度边关联结点之间的差异作者假设更深层的模型即学习多层特征的模型例如ConvE比浅层模型例如DistMult在捕获所有这些约束方面具有优势。但是更深的模型更难以优化因此我们假设对于平均关系特定度数较低的数据集例如WN18RR和WN18像DistMult这样的浅层模型可能足以准确表示网络的结构。具体的用使用pagerank原来用于度量网页的重要性这里用来度量每个节点的重要性。对这几个数据集分析可以看到DistMult和ConvE之间在Hits10方面的性能差异与平均测试集PageRank大致成比例即平均PageRank越高与DistMult相比测试集节点中的ConvE效果更好反之亦然。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
