如何提高网站在搜索引擎中的排名,什邡网站建设公司,昆明网站建设高端定制,网络计划的优化原文链接#xff1a;https://zhuanlan.zhihu.com/p/114028503 本视频来源于Shusen Wang讲解的《分布式机器学习》#xff0c;总共有三讲#xff0c;内容和连接如下#xff1a;并行计算与机器学习#xff08;上#xff09;并行计算与机器学习#xff08;下#xff09;联…原文链接https://zhuanlan.zhihu.com/p/114028503
本视频来源于Shusen Wang讲解的《分布式机器学习》总共有三讲内容和连接如下并行计算与机器学习上并行计算与机器学习下联邦学习技术角度的讲解这节课的内容是联邦学习。联邦学习是一种特殊的分布式机器学习是最近两年机器学习领域的一个大热门。联邦学习和传统分布式学习有什么区别呢什么是Federated Averaging算法联邦学习有哪些研究方向呢我将从技术的角度进行解答。 这节课的主要内容分布式机器学习联邦学习和传统分布式学习的区别联邦学习中的通信问题Federated Averaging算法联邦学习中的隐私泄露和隐私保护联邦学习中的安全问题拜占庭错误、data poisoning、model poisoning总结img srchttps://pic3.zhimg.com/v2-56eb5d8aff7fa2e6d8b73eadaef14962_b.jpg data-caption data-sizenormal data-rawwidth1588 data-rawheight652 classorigin_image zh-lightbox-thumb width1588 data-originalhttps://pic3.zhimg.com/v2-56eb5d8aff7fa2e6d8b73eadaef14962_r.jpg/联邦学习有很实际的应用如移动端会产生数据但是server比如谷歌想要从用户那里的数据进行学习。那么一种显然的解决方法就是把数据收集起来然后学习。但是现实生活中有着一定的限制可能处于法律要求或者用户拒绝上传属于没有一个中心节点可以得到所有的数据呢么我们该如何去学习模型呢这个就叫联邦学习。img srchttps://pic4.zhimg.com/v2-5a2798d168e95340fb817295568aa710_b.jpg data-caption data-sizenormal data-rawwidth2466 data-rawheight1378 classorigin_image zh-lightbox-thumb width2466 data-originalhttps://pic4.zhimg.com/v2-5a2798d168e95340fb817295568aa710_r.jpg/联邦学习和传统的分布式学习有什么区别呢主要有以下四点用户对于自己的设备和有着控制权。Worker节点是不稳定的比如手机可能突然就没电了或者进入了电梯突然没信号了。通信代价往往比计算代价要高。分布在Worker节点上的数据并不是独立同分布的not IID。因此很多已有的减少通信次数的算法就不适用了。节点负载不平衡有的设备数据多有的设备数据少。比如有的用户几天拍一张照片有的用户一天拍好多照片这给建模带来了困难。如果给图片的权重一样那么模型可能往往取决于拍图片多的用户拍照少的用户就被忽略了。如果用户的权重相同这样学出来的模型对拍照多的用户又不太好了。负载不平衡也给计算带来了挑战数据少的用户可能一下子算了很多epoc了数据多的用户还早着。这一点上联邦学习不像传统的分布式学习可以做负载均衡即将一个节点的数据转移到另一个节点。对于联邦学习当下有这么几个研究热点Research Direction 1: Communication Efficiency我们回顾一下并行梯度下降中parallel gradient descent第 个worker执行了哪些任务从server接收模型参数 根据 和本地数据计算梯度 将 发送给server然后server接收了所有用户的 之后这么做接收 计算做一次梯度下降更新模型参数然后将新的参数发送给用户等待用户数据重复执行下一轮迭代那么我们看一下 federated averaging algorithm其可以用更少的通信次数达到收敛。img srchttps://pic3.zhimg.com/v2-64857be48efe48eba20e7c0b4bd4b1dd_b.jpg data-caption data-sizenormal data-rawwidth996 data-rawheight778 classorigin_image zh-lightbox-thumb width996 data-originalhttps://pic3.zhimg.com/v2-64857be48efe48eba20e7c0b4bd4b1dd_r.jpg/一开始还是sever把参数 发送给worker节点但是worker和之前就不一样了接收参数 迭代以下过程 利用 和本地数据计算梯度 本地化更新将 发送给server然后server接收了全部的 之后这么更新从用户那里接收 用以下方程更新 这个新的模型就叫 下一轮迭代的时候再把这个新的 发送给所有节点。img srchttps://pic3.zhimg.com/v2-16989b48dd7d39c8a98bdca55e14b1bf_b.jpg data-caption data-sizenormal data-rawwidth1478 data-rawheight764 classorigin_image zh-lightbox-thumb width1478 data-originalhttps://pic3.zhimg.com/v2-16989b48dd7d39c8a98bdca55e14b1bf_r.jpg/我们把Federated Averaging和梯度下降对比一下如果以communication为横轴那么有上图可见用相同次数的通信Federated Averaging收敛的更快。两次通信之间Federated Averaging让worker节点做大量计算以牺牲计算量为代价换取更小的通信次数。如果横轴以epochs为横轴有以下结果img srchttps://pic1.zhimg.com/v2-509eef385500ace0b62a38f26b553971_b.jpg data-caption data-sizenormal data-rawwidth2082 data-rawheight1172 classorigin_image zh-lightbox-thumb width2082 data-originalhttps://pic1.zhimg.com/v2-509eef385500ace0b62a38f26b553971_r.jpg/我们可以看到相同次数的epochs梯度下降的收敛更快。img srchttps://pic3.zhimg.com/v2-2c2894434ca568e3b49124207ba4429d_b.jpg data-caption data-sizenormal data-rawwidth1572 data-rawheight866 classorigin_image zh-lightbox-thumb width1572 data-originalhttps://pic3.zhimg.com/v2-2c2894434ca568e3b49124207ba4429d_r.jpg/Federated Averaging算法首次由[1]提出但是没有理论证明论文[2]证明了Federated Averaging算法对于对同分布数据是收敛的论文[3]首次证明了Federated Averaging算法对非独立同分布的数据也是收敛的论文[4]和[3]得到了类似的结论但是结果晚一点出来。img srchttps://pic2.zhimg.com/v2-8bfd173a2d45a3868862d0b4f1f66603_b.jpg data-caption data-sizenormal data-rawwidth1550 data-rawheight754 classorigin_image zh-lightbox-thumb width1550 data-originalhttps://pic2.zhimg.com/v2-8bfd173a2d45a3868862d0b4f1f66603_r.jpg/减少通信次数是个大问题减少通信次数并不是Federated Averagin这篇文章首次提出的这里就列了一些文章但是这些文章大都要求数据独立同分布这就难以用到联邦学习中。[4]不要求数据独立同分布但是不适用于深度学习神经网络很难求对偶问题。Research Direction 2: Privacyimg srchttps://pic2.zhimg.com/v2-cd59340ea97e37f768feb3ac414223b3_b.jpg data-caption data-sizenormal data-rawwidth1652 data-rawheight920 classorigin_image zh-lightbox-thumb width1652 data-originalhttps://pic2.zhimg.com/v2-cd59340ea97e37f768feb3ac414223b3_r.jpg/联邦学习中用户的数据是始终没有离开用户的那么数据是否安全呢我们注意到算梯度的过程中实际上就是对数据进行一个变化将数据映射到梯度。img srchttps://picb.zhimg.com/v2-37fee4c20f47175a8cf33d82e77cc74e_b.jpg data-caption data-sizenormal data-rawwidth1570 data-rawheight700 classorigin_image zh-lightbox-thumb width1570 data-originalhttps://picb.zhimg.com/v2-37fee4c20f47175a8cf33d82e77cc74e_r.jpg/虽然数据没有发出去但是梯度是几乎包含数据所有信息的所以一定程度上可以通过梯度反推出数据的。img srchttps://pic2.zhimg.com/v2-dbc16c9c1a98520f250154366d5a78c4_b.jpg data-caption data-sizenormal data-rawwidth1600 data-rawheight734 classorigin_image zh-lightbox-thumb width1600 data-originalhttps://pic2.zhimg.com/v2-dbc16c9c1a98520f250154366d5a78c4_r.jpg/论文[1]说如果一个学习的模型是有用的那么其肯定泄露了训练数据的信息当然这点事很显然的。[2]提出额Model Inversion方法可以根据模型反推出数据但是攻击效果不太好因为Model Inversion只能看到最后的参数联邦学习中我们可以看到每一轮的梯度都是知道的那么可以反推出更多的信息。[1]和[3]就做了这样的事情虽然不能完全反推出原始数据但是可以推出很多的特征比如用户是男是女。img srchttps://pic2.zhimg.com/v2-34755e641ed362c3e9d8d6315d85bc71_b.jpg data-caption data-sizenormal data-rawwidth1646 data-rawheight600 classorigin_image zh-lightbox-thumb width1646 data-originalhttps://pic2.zhimg.com/v2-34755e641ed362c3e9d8d6315d85bc71_r.jpg/文章[1]的大致思路如上将梯度作为输入特征然后学习一个分类器。其根本原理就是梯度带有用户信息。那么有没有办法抵御这种攻击呢当前的主流做法就是加噪声比如 DP。img srchttps://picb.zhimg.com/v2-dadd58959bc0518dd16abb3465193bce_b.jpg data-caption data-sizenormal data-rawwidth1652 data-rawheight756 classorigin_image zh-lightbox-thumb width1652 data-originalhttps://picb.zhimg.com/v2-dadd58959bc0518dd16abb3465193bce_r.jpg/通常是往梯度里面加噪声但是实验效果并不理想噪声大了的话收敛速度就很慢甚至学习过程进行不下去因为目标函数不下降了。噪声小了的话隐私保护效果就不好还是可以反推出用户数据。加噪声会导致测试准确率下降几个百分点这在工业界是很难接受的往往下降一个百分点会带来几十万的损失。Research Direction 3: Adversarial Robustness第三个研究热点让联邦学习可以抵御拜占庭错误和恶意攻击。简单说就是worker中出了叛徒如何学到更好地模型。img srchttps://picb.zhimg.com/v2-1641d747eba8d1f6e103f0575452c21c_b.jpg data-caption data-sizenormal data-rawwidth2360 data-rawheight1328 classorigin_image zh-lightbox-thumb width2360 data-originalhttps://picb.zhimg.com/v2-1641d747eba8d1f6e103f0575452c21c_r.jpg/[1] 提出了数据poisoning attack[2]提出了模型poisoning 攻击。有了攻击自然有防御措施这里就列了三种防御措施。很多方法都假设数据是独立同分布的但这点现实生活并不满足。总而言之攻击比较容易防御比较困难还没有真正有效的防御。img srchttps://pic2.zhimg.com/v2-fae2124344633f181eab6be6cf70e7dc_b.jpg data-caption data-sizenormal data-rawwidth1216 data-rawheight482 classorigin_image zh-lightbox-thumb width1216 data-originalhttps://pic2.zhimg.com/v2-fae2124344633f181eab6be6cf70e7dc_r.jpg/总结一下联邦学习是一种比较特殊的分布式学习目标是让多个用户不共享数据前提下共同训练一个模型联邦学习有着其特有的挑战首先数据不是独立同分布另一个是数据通信代价高。然后还讲了几个研究挑战点。欢迎关注公众号《差分隐私》http://weixin.qq.com/r/di4EHC-E4XKerWt-93tk (二维码自动识别)
