怎样做团购网站,没有公司地址怎么注册公司,风景旅游网页制作素材,临汾市网站建设星标/置顶小屋#xff0c;带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 江城编 | 夕小瑶今天分享一篇淘宝发表在 SIGIR2020 上的关于知识图谱应用于大规模推荐的论文《ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation》#xff0c… 星标/置顶小屋带你解锁最萌最前沿的NLP、搜索与推荐技术文 | 江城编 | 夕小瑶今天分享一篇淘宝发表在 SIGIR2020 上的关于知识图谱应用于大规模推荐的论文《ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation》成功应用于线上淘宝APP且有明显效果提升推荐一读。论文链接https://arxiv.org/abs/2005.12002公众号「夕小瑶的卖萌屋」后台回复关键词【0715】下载论文PDF摘要近年来知识图谱KG由于其丰富的连接信息在推荐上的应用越来越引起大家的兴趣。现有的方法要么在KG上去探索user-item对独立的子路径要么是在整个KG上使用GNN来产生user或者item的表示。虽说都有一定的效果但是前者没有充分捕获user-item在KG上的结构信息后者在产生embedding表示的过程中则忽略了user和item相互的影响。本文提出了一种新框架ATBRG用来有效捕捉目标user-item对在KG上的结构关系。具体来说为了在KG上关联给定目标item和用户行为本文提出了graph connect和graph prune方法来构建自适应的target-behavior关系图。为了充分提取结构信息本文详细介绍了ATBRG的模型结构主要是relation-aware抽取层和表示激活层。ATBRG成功应用到淘宝APP场景并且获得5.1%的CTR提升。背景粗略来说当前基于KG的推荐方法可以分为两类基于Path和基于GNN的方法。基于Path的方法通过探索目标user-item对在KG上的多个meta-path来预测用户偏好。这是一种典型需要domain knowledge的方法而且忽略了KG中丰富的结构信息因此不能充分刻画给定user和item的内在关系。如下图左所示这种方法由于针对各自的path单独建模忽略了Blouse和Dress之间的强联系。与此同时基于GNN的方法针对KG中的高阶连接显示建模。然而有如下的限制它们主要使用GNN来聚合目标user和item各自在KG中的邻居来丰富学习各自的表示因此不能捕捉他们之间的相互影响。如下图中所示当前基于GNN的方法聚合KG中邻居时由于不考虑用户兴趣容易在学习目标item的embedding时引入无效的信息例如Cup在工业界场景下KG是超大规模的也就是说一个实体可能会连接到数以百万的item。在获取邻居时使用random sampling有可能丢失异常关键的信息如下图中所示的Shirt它们忽略了用户行为在KG上的丰富联系为了解决上述的局限性更好地提取KG中原始的信息以便更有效地进行推荐必须满足如下的几个关键方面目标item-用户行为一个有效的基于KG的推荐应该能够针对每一个user-item对产生语义上的子图捕捉它们的相互作用自适应性区别于在整个KG上进行random sampling与自适应创建语义子图一样需要自适应地针对用户行为与目标item在KG上保存有效信息联系性模型设计时需要考虑在KG上用户行为和目标item之间的联系本文结合上述的思想主要贡献如下为了有效刻画给定目标user和item的结构联系本文提出graph connect和graph prune策略来构建自适应的target-behavior关系子图更好地建模用户行为和目标item在KG上的联系本文提出了一个创新性框架ATBRG基于提取的关系子图来使用GNN学习用户行为和目标item的表示在Yelp和Tabao工业集数据集上进行了实验同时成功应用到淘宝APP的场景上验证了ATBRG的明显提升模型框架ATBRG框架如下图所示主要包含两部分图构建部分和模型部分。图构建部分为了建模给定user-item在KG上的联系之前方法要么是通过random walk要么是依赖目标item在KG上的邻居来提取不同的path。前者忽略了KG中的结构性信息后者则是忽略了用户行为和目标item的相互作用因此无论哪种方式都只是得到了推荐上的局部最优效果。直观来说用户是否点击目标item与用户的历史行为有非常强的关系本文提出构建自适应的针对用户行为和目标item的关系图图构建的具体步骤如下Agorithm 1所示。具体来说给定一个目标user-item对u, i首先针对用户行为B_ui和目标item i在KG上穷举搜索多层实体邻居然后将连接实体和item的路径恢复成图G_ui这样通过多个重合的实体将用户行为和目标item连接起来了然后针对G_ui中的实体如果没有连接不同的item的话则进行剪枝最后便得到了针对用户u和目标item i的关系图G_ui可以描述u, i在KG上的结构联系。模型结构从KG中得到自适应的target-behavior关系图后本文研究了应该如何为目标user-item对产生embedding表示。如上图右所示ATBRG的模型架构主要由如下的四层组成Embedding层将高维稀疏特征转换为低维稠密表示Relation-aware抽取层通过聚合在自适应关系图上的结构关系信息为用户行为和目标item产生knowledge-aware的Embedding表示表示激活层针对目标item激活相对关系性的用户行为表示特征交互层结合更多其他特征Relation-aware抽取层是为了有效、全面地提取关系子图中的结构联系性信息。在电商场景中用户可能点击或者购买同样的item i显然不同的行为象征着用户对于item i不同的偏好。基于上述讨论以及受[2]启发本文构建relation-aware的抽取层来学习实体之间不同的关系在KG中的丰富的结构性信息。具体来说对于每一个目标item用户行为中item_b或者目标item i本文将其视为中心节点并且使用relation-aware聚合器聚合其在关系子图G_ui中的邻居信息。表示激活层就是使用attention学习用户历史行为在目标item上的激活权重。直观来说用户的不同行为对于最终的预测打分会有不同的贡献。举例来说如果目标item是shirt C那么行为shirt A会比行为show B更有信息量一些。实验结果效果对比本文在Taobao和Yelp两个工业级基准数据集上进行了实验。在Taobao数据集上除了用户历史行为本文为其构建了item knowledge譬如分类、父类以及风格等。在Yelp数据集上KG则主要是本地商业信息譬如位置和分类。本文将ATBRG和三种类型的表示学习型baseline进行了对比。基于特征的方法譬如YoutubeNet和DeepFM基于用户行为的方法譬如DIN和DIEN等基于KG的方法譬如RippleNet和KGAT等。详细实验结果对比数据如下表所示从实验数据我们可以得到如下分析结论基于特征的方法在两个数据集上的表现较差也就是说手工的特征工程已经不足以建模user和item之间的复杂联系基于用户行为的方法证实了引入历史行为对于学习用户偏好是非常重要的总的来说基于KG的方法效果要好于基于用户历史行为的方法也从侧面证实了引入KG可以捕捉user和item的内在交互。ATBRG超参调整本文在这部分进行了多种实验仔细调研了ATBRG的模型架构调整和关键参数设定的影响。首先是分别去除relation-aware机制和表示激活层的实验效果对比说明KG中的不同关系应该被区分出来而且用户行为在KG中的语义关系也应该同时被考虑进来。其次是邻居深度的效果影响。邻居深度从0提升到2过程中效果更好但是从2到3过程中效果反而变得更差。一种可能的解释是KG中太长的联系可能包含了一定的噪声譬如Shirt - Women Clothing - Clothing - Men Clothing - Shoe。然后是Aggregator类型的影响。如下图所示分别对比了concat、sumself-attention以及nonlinear transformation的效果。总的来说复杂的aggregator相对有更好的效果表现。线上A/B实验如下图是ATBRG应用在淘宝APP的系统架构图。相对于线上DIN的基线ATBRG相对提升了6.8%的点击数量以及5.1%的CTR提升同时在线预测时间增长了8ms。喜欢本文的小伙伴强烈建议加入卖萌屋的推荐系统垂类讨论群不仅可以认识众多志同道合的优秀小伙伴而且还有若干卖萌屋美丽小姐姐划掉、顶会审稿人、大厂研究员、知乎大V等你来撩哦。如果提示已满或过期或希望加入领域大群自然语言处理、搜索技术、推荐系统、算法岗求职等或其他垂类讨论群请在后台回复关键词【入群】获取入口哦。记得扫描下方二维码关注并星标置顶我才能来到你面前哦。参考文献[1] ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation[2] Exploiting edge features for graph neural networks
