嘉兴网站建设全包,国外免费做网站软件,wordpress最新列表,一个新网站做多久才有流量转化背景 为什么做GNN?
在大数据的背景下#xff0c;利用高速计算机去发现数据中的规律似乎是最有效的手段。为了让机器计算的有目的性#xff0c;需要将人的知识作为输入。我们先后经历了专家系统、经典机器学习、深度学习三个阶段#xff0c;输入的知识由具体到抽象#xf…背景 为什么做GNN?
在大数据的背景下利用高速计算机去发现数据中的规律似乎是最有效的手段。为了让机器计算的有目的性需要将人的知识作为输入。我们先后经历了专家系统、经典机器学习、深度学习三个阶段输入的知识由具体到抽象由具体规则到特征再到模式越来越宏观。相对来说抽象的层次变高了覆盖面变广了但我们对底层的感知变弱了模型的可解释程度变差了。事物发展往往遵循这样的规律先有客观事实再有原理支撑之后是普遍推广。深度学习的应用已经让我们看到了非常可观的价值但其背后的可解释性工作进展缓慢也因为如此当我们用深度学习去解决一些风控、安全等业务场景那数字效果不足以支撑这项技术的应用我们更需要知道结果后面的原因。
Graph是知识的载体其间的实体联系蕴含了很强的因果关系。重要的是这是一种直观的、人们能够读懂的结构。把Graph作为知识支撑利用深度学习的泛化技术看上去是一个可行的方向在某些问题上离我们的可解释性目标更近了一步。各种深度学习相关的顶会在近年来的paper分布上图神经网络GNN一直处于蓬勃态势。GNN不一定是可解释性的全部但对于集团内复杂的生态网数据无论从技术储备还是业务效果上来说都是一个非常值得投入的方向。 再者说GNN是一种解决问题的思路覆盖范围很广不仅仅是为了学Graph而存在。目前基于行为历史的搜索推荐类算法都可以纳入到GNN范式而这类算法在集团内有着大规模应用。用Graph去组织历史数据相比现有方式信息量只增不减理论上模型效果会更好。 面向哪些用户
相比CNN、RNN等成熟技术而言GNN还处于探索阶段Graph之于GNN不如图像之于CNN、自然语言之于RNN来的理所当然。即便有Graph数据如何使用GNN没有可遵循的固定模式更没有沉淀下来的类似卷积一样的算子可直接调用。GNN的有效性需要更多的场景去验证而每一个场景都需要开发者的深入理解开发者有能力处理Graph数据和编写之上的深度学习模型。有了百花齐放的应用场景做铺垫才有可能抽象出共性的GNN算子再将这些相对成熟的能力赋给使用者GNN才会真正的推广开来。出于这些考虑比起开发一个成熟算法供用户使用平台当前阶段会更侧重提供API给开发者让开发者有能力贴近自己的场景去实现GNN。
另一方面Graph大多是场景相关一个电商场景的图和社交网络的图有本质不同不仅仅是数据构成上上层的模型计算也很大程度不一样。这是另外一点与图像和自然语言的区别后两者在不同的场景间具有较好的可复用性或是结果可复用FineTune或是计算模型复用。所以GNN的应用需要更贴近场景由开发者定制化平台需要尽可能降低开发成本加快模型迭代频率。 什么样的产品
早期的GNN称为GraphEmbedding更合适因为整个模型的输出就是顶点或边的向量化表示如RandomWalk、Node2Vec这些向量通过学习Graph本身得到不涉及跟上层业务的关联。这些向量会作为业务模型的输入构建深度神经网络。很多深度学习模型调优的经验告诉我们端到端训练往往带来更多的效果收益对于贴近场景解决问题的开发者来说结合业务进行端到端训练而不是只学习Graph本身方案更为彻底。再者端到端会省去巨大的中间过程开销如TB级的训练样本和向量临时存盘。退一步讲只学习Graph本身的过程是端到端的一个特例如果需要完全可以退化成这样。端到端对用户是友好的在一套IDE里用户既可以操作复杂的Graph数据又可以将数据与深度神经网络对接自由编写上层模型而不是靠多套系统的拼凑来完成。
所以我们定位为一个GNN平台可扩展且与生态兼容面向GNN开发者提供一体化的解决方案同时能将通过场景打磨的成熟算法沉淀到平台推广GNN的应用致力于为可解释的AI做技术储备。这是一个长期投入的过程平台作为载体需要厚实的底座。针对集团内现状前期我们优先解决图数据与深度学习框架的对接让二者高效的bridge起来再投入到GNN编程模型的建设。 技术栈
AliGraph涵盖了从原始图数据到GNN应用的整体链路把GNN算法的探索成本降低到和传统深度学习算法同等水平。平台可以分层来看数据层引擎层应用层。 数据层支持大规模同构图、异构图、属性图。数据无需提前build好平台提供API来简化数据解析和建图的过程。数据层接口易扩展方便对接不同格式、不同介质的Graph数据。
引擎层包含Graph Engine和Tensor Engine。Graph Engine又可分为逻辑对象层与算子层。逻辑对象层描述的是把原始数据加载到系统后展现给用户的形态是什么。每一个对象实体都会提供相关的语义接口比如对于一个Graph对象而言可以获取图的拓扑信息、异构程度、点边数量等。对于用户而言实际使用中只需要声明一个逻辑对象并指定其数据源即可。
import aligraph as ag g ag.Graph(...) print(g.get_topology())
算子层在逻辑对象之上可以进行的计算操作。比如对于Graph对象而言支持各种Sampler算子用于对上层GNN算法提供输入。算子层具有很强的扩展性以满足场景多样化对算子种类的需求。目前内置支持的算子围绕GNN算法及生态展开包括图查询、图采样、负采样、KNN等。后续我们会开放支持算子开发的SDK允许用户自定义算子。
s g.negative_sampler(typeby_indegree, ...) print(s.get(ids)) Tensor Engine指深度学习引擎如TensorFlow、PyTorch或者其他支持Python接口的Library。Graph Engine的输出为格式对齐的NumPy对象可无缝与深度学习引擎对接。GNN开发者可自由编写Graph之上的NN逻辑并可与业务需求相结合组成一个深度网络模型进行端到端训练。
应用层强调与业务端到端结合而非把Graph Embedding的结果割裂开使用。经场景打磨的成熟算法也会沉淀到应用层以算法组件的形式提供给用户。 系统实现 一体化框架
由GCN框架引申典型的GNN编程范式可概括如下系统是为了高效支持该范式而设计。
其中向量化和聚合操作可以利用深度学习引擎的表达能力因此为实现上述计算模式主要在于图相关的操作以及这些操作如何与深度学习引擎对接。我们将技术栈细化成如下图所示其中Storage、Sampler、Operator是系统要解决的主要问题。信息自底向上在层与层之间前向传播梯度则自顶向下更新每一层的参数整个GNN应用在一张深度网络里描述。Storage层的Graph对象是逻辑存储在其之下有一层抽象的文件接口可适配多种数据源这是系统具备可迁移性的前提。Sampler提供丰富的算子且可独立扩展不依赖系统框架满足多样化的需求。Operator进行图语义操作的封装把性能优化、数据对接隐藏在简洁的接口之下。 高效图引擎
再具体的图引擎是连接图数据与深度学习框架的桥梁保证数据传递的高效与稳定。这里的图操作是面向GNN的和一般意义的图计算有很大区别。Graph Engine是一个分布式服务具有高性能和高可用的特点支持百亿级边的异构图在2分钟以内完成构建、十毫秒级按batch多跳跨机采样支持从失败中状态无损的failover。Graph Engine内部深度优化了RPC过程实现了数据零拷贝并且Server间的连接是线程级的在最大化带宽利用率的同时每个线程可独立无锁的处理请求。这也是系统性能优异的主要原因。此外我们通过有效的Cache、去中心化等手段来加速采样和负采样性能具有明显提升。关于线程模型、Cache加速等细节可参考AliGraph paper。 算子可扩展
为支持GNN的快速发展需求系统允许算子自由扩展。系统框架包括用户接口、分布式运行时、分布式存储3大部分。通过用户接口调用某个算子算子读取数据并完成分布式计算。我们把分布式运行时和存储的接口进行提炼将编程接口控制在安全范围内用户可以基于这些接口开发一个自定义的算子。自定义算子可以统一注册到用户接口上无需新增用户API。具体的每种Operator都是一个分布式算子计算所需的数据会分布在Service的各个Server上我们抽象了Partition()和Stitch()语义Partition()用于把计算请求拆分并转发到对应的Server上保证数据和计算colocate从而避免数据搬迁的代价Stitch()则把每个Server的结果进行整合。Operator还需实现Process()用于本地计算数据序列化、分布式通信等则无需关心。 举个例子KNN可以检测点与点的相似性向量召回再基于相似性来“构图”因此可作为GNN生态的一部分。基于上述抽象框架我们把KNN作为一种算子很容易的实现了大规模KNN。除了作为扩展算子的编程框架Partition()和Stitch()也可做为Message Passing编程的基础组成部分。 灵活的部署
整体上看GraphEngine是典型的CS架构。轻量级的Client可嵌入到TF、PyTorch等主流的DL框架使用。Client不做任何数据切片、转发、合并等操作只是把Request发给对应的Server。Client与Server的连接是一个抽象的Channel可以是RPC Channel也可以是In Memory Channel这也使得AliGraph有灵活的部署方式即可以独立Service部署也可以和TF等同进程部署只要Channel联通Client与Server即可。轻量Client的另一个好处是可以作为Server之间通信的载体而无需对Server间相互通信再开发新的协议。 效果
系统
数据种类支持同构图、异构图、属性图有向图、无向图与ODPS数据无缝对接。 数据规模支持百亿级边、十亿级顶点的超大规模图原始存储TB级。 算子种类支持几十种可与深度学习相结合的图查询、采样算子支持向量检索支持算子按需自定义。 性能指标支持分钟级超大规模图构建毫秒级多跳异构图采样毫秒级大规模向量检索。 用户接口与PAI-TF构成一体化IDE支持notebook开发成本相比一般TF模型无异。
算法
已支持业界主流的GraphEmbedding算法包括DeepWalk、Node2Vec、GraphSAGE、GATNE等。多种自研算法正在计划公开已发表的相关paper参考如下。
Representation Learning for Attributed Multiplex Heterogeneous Network. KDD, 2019. Is a Single Vector Enough? Exploring Node Polysemy for Network Embedding. KDD, 2019. Towards Knowledge-Based Personalized Product Description Generation in E-commerce. KDD, 2019. Sequential Scenario-Specific Meta Learner for Online Recommendation. KDD, 2019. AliGraph: A Comprehensive Graph Neural Network Platform. VLDB, 2019. Large Scale Evolving Graphs with Burst Detection. IJCAI, 2019. Hierarchical Representation Learning for Bipartite Graphs. IJCAI, 2019. Cognitive Graph for Multi-Hop Reading Comprehension at Scale. ACL, 2019.
业务
在集团内已覆盖淘宝推荐搜索、新零售、网络安全、线上支付、优酷、阿里健康等相关业务百亿级边、十亿级顶点的异构图单任务节省300TB存储、万CPU时算力训练时间缩短2/3线上CTR提升12%。 此外AliGraph已在阿里云机器学习PAI发布为更多客户提供服务。我们希望看到GNN为更多的场景带去更优的解决方案也希望更多的研究者愿意投入到这个方向。
获奖 荣获2019世界人工智能大会最高荣誉SAIL奖项。
双12来袭500元淘宝红包、iPhone11等你拿。 https://www.aliyun.com/1212/2019/home?utm_contentg_1000092611
原文链接 本文为云栖社区原创内容未经允许不得转载。
