wordpress表单提交的邮箱,江门seo计费管理,进入qq空间登录,信阳搜索引擎优化应该很多人听过但是始终都没懂啥是联邦学习#xff1f;百度一下发现大篇文章都说可以用来解决数据孤岛#xff0c;那它又是如何来解决数据孤岛问题的#xff1f;
1、联邦学习的背景介绍
近年来人工智能可谓风风火火#xff0c;掀起一波又一波浪潮#xff0c;从人脸识别、…应该很多人听过但是始终都没懂啥是联邦学习百度一下发现大篇文章都说可以用来解决数据孤岛那它又是如何来解决数据孤岛问题的
1、联邦学习的背景介绍
近年来人工智能可谓风风火火掀起一波又一波浪潮从人脸识别、活体检验发现刑事案件报警到阿尔法狗大战人类围棋手李世石、再到无人驾驶、以及已被普遍应用的精准营销AI逐步进入人们生活的方方面面。当然也不免出现部分过度吹捧导致对AI的误解–AI无所不能既然这么好用为啥我不能拿来用一下在追逐AI的同时却忽略了一点AI是靠数据来喂的而且是大量优质数据。
现实生活中除了少数巨头公司能够满足绝大多数企业都存在数据量少数据质量差的问题不足以支撑人工智能技术的实现同时国内外监管环境也在逐步加强数据保护陆续出台相关政策如欧盟最近引入 的新法案《通用数据保护条例》GDPR我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》因此数据在安全合规的前提下自由流动成了大势所趋在用户和企业角度下商业公司所拥有的数据往往都有巨大的潜在价值。两个公司甚至公司间的部门都要考虑利益的交换往往这些机构不会提供各自数据与其他公司做与单的聚合导致即使在同一个公司内数据也往往以孤岛形式出现。
基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点导致了现在大量存在的数据孤岛以及隐私保护问题联邦学习应运而生。
1.1 目前面临的一些问题:
系统部署移动手机和可穿戴设备是现代十分常见的数据产生设备。这些设备每天都会产生巨量的各种形式的数据。考虑到算力需求数据传输以及个人隐私的限制系统部署越来越倾向于在本地存储数据模型计算由边缘设备完成。 数据孤岛在大多数行业中数据是以孤岛的形式存在的由于行业竞争、隐私安全、行政手续复杂等问题即使是在同一个公司的 不同部门之间实现数据整合也面临着重重阻力在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的或者说所需的成本是巨大的。
1.2 联邦学习成为可行方案
如何在满足数据隐私、安全和监管要求的前提下设计一个机器学习框架让人工智能系统能够更加高效、准确的共同使用各自的数据是当前人工智能发展的一个重要课题。我们倡议把研究的重点转移 到如何解决数据孤岛的问题。我们提出一个满足隐私保护和数据安全的一个可行的解决方案叫做联邦学习.
2、联邦学习的概念
Build machine learning models based on data sets that are distributed across multiple devices while preventing data leakage. 分布在不同设备的数据拥有者在不暴露自己数据的基础上联合训练出模型的方法 本质联邦学习本质上是一种分布式机器学习技术或机器学习框架。
目标联邦学习的目标是在保证数据隐私安全及合法合规的基础上实现共同建模提升AI模型的效果。
前身联邦学习最早在 2016 年由谷歌提出原本用于解决安卓手机终端用户在本地更新模型的问题
2.1 联邦学习公式化定义 2.2 联邦学习与现有研究的区别 联邦学习而言首先在于联邦学习中的工作节点代表的是模型训练的数据拥有方其对本地的数据具有完全的自治权限可以自主决定何时加入联邦学习进行建模相对地在参数服务器中中心节点始终占据着主导地位。
联邦学习的过程分为自治和联合两部分。
自治的部分首先两个或两个以上的的参与方们在各自终端安装初始化的模型每个参与方拥有相同的模型之后参与方们可以使用当地的数据训练模型。由于参与方们拥有不同的数据最终终端所训练的模型也拥有不同的模型参数。联合的部分不同的模型参数将同时上传到云端云端将完成模型参数的聚合与更新并且将更新好的参数返回到参与方的终端各个终端开始下一次的迭代。以上的程序会一直重复直到整个训练过程的收敛。
3、联邦学习的分类
联邦学习可以用在C端也可以用在B端。
3.1 联邦学习用在C端
FL应用在推荐系统 https://www.jianshu.com/p/770708d35b19
3.2 联邦学习用在B端
我们把每个参与共同建模的企业称为参与方根据多参与方之间数据分布的不同把联邦学习分为三类横向联邦学习、纵向联邦学习和联邦迁移学习。
3.2.1 横向联邦学习
3.2.1.1 适用场景
横向联邦学习的本质是样本的联合适用于参与者间业态相同但触达客户不同即特征重叠多用户重叠少时的场景比如不同地区的银行间他们的业务相似特征相似但用户不同样本不同
3.2.1.2 学习过程 step1参与方各自从服务器A下载最新模型
step2每个参与方利用本地数据训练模型加密梯度上传给服务器A服务器A聚合各用户的梯度更新模型参数
step3服务器A返回更新后的模型给各参与方
step4各参与方更新各自模型。 由于各个参与方贡献的是数据的样本因此对参与方贡献评估的思路就是看看它提供的样本对于训练有没有用采用的方法是——删除法。 每次删掉一个参与方提供的样本重新训练模型计算删前删后两个模型预测能力的变化记为影响度Infuence Measure用该指标衡量各个参与方的贡献。 步骤解读在传统的机器学习建模中通常是把模型训练需要的数据集合到一个数据中心然后再训练模型之后预测。在横向联邦学习中可以看作是基于样本的分布式模型训练分发全部数据到不同的机器每台机器从服务器下载模型然后利用本地数据训练模型之后返回给服务器需要更新的参数服务器聚合各机器上的返回的参数更新模型再把最新的模型反馈到每台机器。
在这个过程中每台机器下都是相同且完整的模型且机器之间不交流不依赖在预测时每台机器也可以独立预测可以把这个过程看作成基于样本的分布式模型训练。谷歌最初就是采用横向联邦的方式解决安卓手机终端用户在本地更新模型的问题的。
3.2.2 纵向联邦学习
3.2.2.1 适用场景
纵向联邦学习的本质是特征的联合适用于用户重叠多特征重叠少的场景比如同一地区的商超和银行他们触达的用户都为该地区的居民样本相同但业务不同特征不同。
3.2.2.2 学习过程 纵向联邦学习的本质是交叉用户在不同业态下的特征联合比如商超A和银行B在传统的机器学习建模过程中需要将两部分数据集中到一个数据中心然后再将每个用户的特征join成一条数据用来训练模型所以就需要双方有用户交集基于join结果建模并有一方存在label。其学习步骤如上图所示分为两大步
第一步加密样本对齐。是在系统级做这件事因此在企业感知层面不会暴露非交叉用户。
第二步对齐样本进行模型加密训练 step1由第三方C向A和B发送公钥用来加密需要传输的数据 step2A和B分别计算和自己相关的特征中间结果并加密交互用来求得各自梯度和损失 step3A和B分别计算各自加密后的梯度并添加掩码发送给C同时B计算加密后的损失发送给C step4C解密梯度和损失后回传给A和BA、B去除掩码并更新模型。 步骤解读我们以线性回归为例具体说明其训练过程。 具体训练步骤如下 在整个过程中参与方都不知道另一方的数据和特征且训练结束后参与方只得到自己侧的模型参数即半模型。
3.2.2.3 预测过程
由于各参与方只能得到与自己相关的模型参数预测时需要双方协作完成如下图所示
3.2.2.4 共同建模的结果
双方均获得数据保护共同提升模型效果模型无损失
3.2.3 联邦迁移学习
3.2.3.1 适用场景
当参与者间特征和样本重叠都很少时可以考虑使用联邦迁移学习如不同地区的银行和商超间的联合。主要适用于以深度神经网络为基模型的场景。
3.2.3.2 迁移学习介绍
迁移学习是指利用数据、任务、或模型之间的相似性将在源领域学习过的模型应用于 目标领域的一种学习过程。
其实我们人类对于迁移学习这种能力是与生俱来的。比如我们如果已经会打乒乓球就可以类比着学习打网球。再比如我们如果已经会下中国象棋就可以类比着下国际象棋。因为这些活动之间往往有着极高的相似性。生活中常用的“举一反三”、“照猫画虎”就很好地体现了迁移学习的思想。 迁移学习的核心是找到源领域和目标领域之间的相似性举一个杨强教授经常举的例子来说明我们都知道在中国大陆开车时驾驶员坐在左边靠马路右侧行驶。这是基本的规则。然而如果在英国、香港等地区开车驾驶员是坐在右边需要靠马路左侧行驶。那么如果我们从中国大陆到了香港应该如何快速地适应 他们的开车方式呢诀窍就是找到这里的不变量不论在哪个地区驾驶员都是紧靠马路中间。这就是我们这个开车问题中的不变量。 找到相似性 (不变量)是进行迁移学习的核心。
3.2.3.3 学习过程
联邦迁移学习的步骤与纵向联邦学习相似只是中间传递结果不同实际上每个模型的中间传递结果都不同。这里重点讲一下联邦迁移的思想
4. 联邦学习与分布式学习的不同之处
分布式学习参数服务器将数据存储在分布式工作节点上通过中央调度节点分配数据和计算资源。一切都由中央节点控制工作节点没有决策权。
联邦学习工作节点代表数据所有者。它具有本地数据的完全自治权并且可以决定何时以及如何加入联合学习。
最后附上联邦学习开源githubhttps://github.com/webankfintech/fate
https://zhuanlan.zhihu.com/p/79284686 https://www.jianshu.com/p/770708d35b19
