品牌策划公司网站,服装网站的设计理念,小说网站怎么做空间小,wordpress仿哔哩哔哩本文转载自公众号#xff1a;PaperWeekly。论文作者#xff1a;蔡健宇#xff0c;中国科学技术大学#xff0c;研究方向#xff1a;知识图谱近些年#xff0c;知识图谱#xff08;Knowledge Graph#xff09;在自然语言处理、问答系统、推荐系统等诸多领域取得了广泛且… 本文转载自公众号PaperWeekly。论文作者蔡健宇中国科学技术大学研究方向知识图谱近些年知识图谱Knowledge Graph在自然语言处理、问答系统、推荐系统等诸多领域取得了广泛且成功的应用。然而现有知识图谱普遍存在链接缺失问题。为解决该问题知识图谱补全任务应运而生。目前的知识图谱补全模型可分为多个流派而基于距离的模型是其中重要一派。这类模型可以建模对称、互逆与复合等不同的抽象关系模式Relation Pattern却难以对知识图谱中普遍存在的语义分层Semantic Hierarchies现象进行有效建模。本文接下来所介绍的工作 HAKE 使用极坐标系对语义分层现象进行建模并在主流数据集上超越了这一流派中现有性能最好的方法。论文的标题为 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction发表于 AAAI 2020。论文代码已开源至 Github。论文链接https://arxiv.org/abs/1911.09419开源代码https://github.com/MIRALab-USTC/KGE-HAKE知识图谱与补全任务知识图谱是一种以图 (Graph) 的形式存储人类知识的大规模语义网络。知识图谱中的节点 (Node) 表示实体 (Entity)边 (Edge) 表示关系 (Relation)。在知识图谱中事实 (Fact) 一般以三元组 (Triple) 的形式进行表示。三元组一般记为 头实体关系尾实体 ( head entity, relation, tail entity )。例如 下图中的 达芬奇 (Da Vinci)绘制 (painted)蒙娜丽莎 (Mona Lisa) 就是一个三元组。然而知识图谱却普遍存在着三元组缺失即链接缺失问题。因缺失三元组的规模通常较大人工寻找这些三元组代价高昂。因此研究者们设计了知识图谱补全任务 (Knowledge Graph Completion)旨在通过机器学习模型自动补全缺失三元组。由于该任务并不会新增实体与关系只是补全已有实体间的链接 (Link)因此也被称为链接预测 (Link Prediction) 任务。相关工作现有知识图谱补全模型首先将实体与关系映射为低维嵌入knowledge graph embeddings可为向量/矩阵/张量然后通过一个以低维嵌入为输入的打分模型为给定三元组进行打分从而确定任意三元组真实存在的概率。现有的模型主要分为以下三类基于距离的模型 (Distance-based Models)双线性模型 (Bilinear Models)神经网络模型 (Neural Network Models)本文所介绍的 HAKE 模型属于“基于距离的模型”这一流派。基于距离的模型将关系视为从头实体到尾实体的映射并通过计算映射后的头实体与尾实体之间的距离来得到三元组的得分代表性模型包括 TransE 与 RotatE 等。该流派之前的模型能够对一些抽象的关系模式进行建模包括对称关系 (Symmetry)互逆关系 (Inversion) 和复合 (Composition) 关系等。TransE 将一个真实三元组 (h, r, t) 建模为 , 其中 k 表示向量维度它可以建模互逆关系与复合关系却难以建模对称关系。RotatE 将一个真实三元组 (h, r, t) 建模为 , 其中 表示向量间的 Hadamard 积即 它能够建模上述三种关系。然而这些模型难以建模在知识图谱中普遍存在的语义分层现象。模型介绍1. 语义分层现象语义分层 (Semantic Hierarchies) 现象在知识图谱中普遍存在。以下面两个三元组为例 棕榈树 (palm)上位词 (_hypernym)树 (tree) 兰开斯特 (Lancaster)位于 (located_in)英格兰 (England) 实体 树 与 英格兰 更加抽象属于更高的范畴因而在语义分层中属于高层级的实体实体 棕榈树 与 兰开斯特 更加具体因而在语义分层中属于低层级的实体。进一步我们发现知识图谱中的语义分层现象可以抽象为树型 (Tree) 结构。其中处于最高语义层级的实体对应着树的根节点拥有更高的语义层级的实体更加接近根节点语义层级更低的实体更加接近叶子节点处于相同语义层级的实体到根节点的距离相同也就是说树中一个节点的深度 (Depth) 反映了其对应实体的语义层级。基于以上观察 我们将知识图谱中的不同实体分为两类分属不同语义层级的实体例如 哺乳动物 (mammal) 与 狗 (dog)奔跑 (run) 与移动 (move)。属于相同语义层级的实体例如 玫瑰 (rose) 与 牡丹 (peony)卡车 (truck) 与 货车 (lorry)。若要建模知识图谱的语义层级一个模型必须能够建模上述两类实体。2. HAKE 模型HAKE (Hierarchy-Aware Knowledge Graph Embedding) 模型使用极坐标系建模上述表示语义层级的树型结构。极坐标系 (Polar Coordinate System) 是一个二维坐标系统包括半径坐标和角度坐标两部分。该坐标系统中任意位置可由一个半径 和一个角度 来表示。该模型将不同实体的嵌入向量的相同维都映射到同一个极坐标系中包括模长和角度两部分。其中模长部分用于建模分属不同层级的实体角度部分用于建模属于同一层级的实体下面对这两部分进行详细介绍。2.1 模长部分受到前文所述树型结构的启发我们使用极坐标系中的模长来表示树中节点的深度。即在语义层级中我们使用模长部分来区分那些分属不同层级的实体。对于一个三元组 与 分别为头实体、尾实体与关系向量我们的建模如下:对应的距离函数 (Distance Function) 为2.2 角度部分位于同一个圆上的点模长相同可以有不同的夹角。受其启发我们使用极坐标系中的角度来区分树中处于同一深度的不同节点。即在语义层级中我们使用角度部分来区分那些属于同一层级的不同实体。对于一个三元组 分别为头实体、关系与尾实体向量我们的建模如下:对应的距离函数 (Distance Function) 为2.3 模长 角度综合模长部分与角度部分我们得到而 、 与 分别表示综合后的头实体、关系与为实体向量。综合后的距离函数为得分函数 (Score Function) 为2.4 基准模型 ModE为了更加公平地进行对比实验我们仅利用模长信息设计一个新的模型—ModE它将作为基准模型之一与 HAKE 进行对比。3. 实验与分析3.1 数据集在本次实验中我们选择在 WN18RR、FB15k-237 与 YAGO3-10 这三个数据集上进行实验。其中WN18RR主要包含两种类型的关系(a) 对称关系如 _similar_to该关系类型连接的头尾实体属于同一语义层级(b) 非对称关系如 _hypernym该关系连接的头尾实体属于不同语义层级。FB15k-237包含的关系数量最多关系类型最复杂仅有部分关系表示语义层级。YAGO3-10该数据集和 FB15k-237 类似包含许多具有高入度 (Indegree) 的关系即在同一个关系下一个头/尾实体可能对应着大量的尾/头实体。例如(?,hasGender,male)(?,hasGender,male) 拥有超过 1,000 个正确的头实体但这些头实体的含义却可能相差悬殊因此建模难度更高。3.2 实验结果HAKE 与基准模型 ModE 在 WN18RR、FB15k-237 与 YAGO3-10 上的实验对比结果如下图所示。我们可以看到ModE 模型的参数量和 TransE 相同且模型同样简单但在各个数据集上的性能都远高于它HAKE 模型在各个数据集上的表现都显著优于现有的最佳模型。3.3 可视化分析3.3.1 关系的可视化分析(i) 关系的模长部分基于上文中关于树型结构的论述我们对于实体的嵌入向量的表现有如下的期望位于更高语义层级的实体更加靠近树的根节点故模长更小位于更低语义层级的实体更加靠近树的叶节点故模长更大由于关系连接着头尾实体我们对于关系的嵌入向量的表现有如下期望如果头实体的语义层级更高而尾实体的语义层级更低那么我们期望 如果头实体的语义层级更低而尾实体的语义层级更高那么我们期望 如果头尾实体位于相同的语义层级那么我们期望 为了验证上述猜想我们进行了如下实验分析。首先我们从三个数据集中选取了一些代表性的关系。接着对于这些关系在 ModE 与 HAKE 模型中的模长部分向量我们绘制了每一维度的取值的分布直方图如下图所示对于图中的六个关系我们将其分为三组。图 (a) (b) 中的关系所连接的头实体的语义层级低于尾实体图 (c) (d) 中的关系所连接的头尾实体的语义层级相同图 (e) (f) 中的关系所连接的头实体的语义层级高于尾实体。从图中可以分析得出当头实体语义层级更高时关系的模长总体大于1当尾实体语义层级更高时关系的模长总体小于1当头尾实体的语义层级相同时关系的模长总体接近1。这样的实验结果与上述猜想完全一致。我们还发现与 ModE 相比HAKE 的模长嵌入向量的取值分布更为集中方差更小这表明 HAKE 能够更加清晰准确地对语义层级进行建模。(ii) 关系的角度部分在上述图 (c) (d) 中关系的模长都接近于 1因此利用模长部分难以对该关系连接的实体进行区分。对于这种情况我们求助于 HAKE 的角度部分。我们从 WN18RR 和 FB15k-237 中各选取了一种关系并绘制了它们角度部分每一维度的取值的的分布直方图如下图所示。从图中可以看到它们每一维度的取值主要集中于三个值附近0、π 与 2π并且取值接近 π 的维度占比为 40%-50%。也就是说这些头尾实体中接近一半的维度取值都相差 π。因此位于同一语义层级的实体可以被角度部分区分。3.3.2 实体可视化分析我们接下来对实体进行可视化分析。在这部分的实验中为了更加清晰的展示出通过 HAKE 建模得到的分层效果我们将 HAKE 与 RotatE 进行对比将两种模型得到的实体向量的不同维度都绘制成同一个二维平面上的点。我们从 WN18RR 中选取了三个不同类型的三元组得到如下的散点图。图 (a) 中的三元组中头实体位于更低的语义层级图 (b) 中头尾实体的语义层级相同图 (c) 中头实体位于更高的语义层级。需要注意的是为了更加直观地显示出分层效果我们绘制散点图时对于每一个点的模长使用了对数缩放操作。因此图中更大的半径实际上表示更小的模长。从图中可以看到在头尾实体分属不同语义层级的场景下图 (a) 与 (c)HAKE 的散点图表现出了更加明显的分层效果而在 RotatE 的散点图中头尾实体则难以依靠半径进行区分。对于头尾实体属于相同语义层级的场景下表示头尾实体的点应该具有大致相同的半径。在此场景下HAKE 依然表现的更好因为 HAKE 中的实体模长分布的方差更小。总结本文介绍了一个可建模语义分层的知识图谱补全模型HAKE。该模型使用极坐标系对语义分层进行建模。其中模长部分用于建模分属不同语义层级的实体角度部分用于建模属于相同语义层级的实体。实验结果表明 HAKE 的性能优于现有的性能最好的方法。进一步分析结果显示训练得到的模型中模长与角度的表现与预期相符能够很好地对语义层级进行建模。OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
