营销型网站建设沈阳,江苏宿迁房产网,什么是网络社交平台,网站开发的形式有多种方式机器学习在数据层、模型层以及应用层面临的安全和隐私威胁#xff0c;呈现出多样性、隐蔽性和动态演化的特点。 应用领域#xff1a;计算机视觉、自然语言处理、语音识别等 应用场景#xff1a;自动驾驶、人脸识别、智慧医疗等 Key words: machine learning; poisoning atta…机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点。 应用领域计算机视觉、自然语言处理、语音识别等 应用场景自动驾驶、人脸识别、智慧医疗等 Key words: machine learning; poisoning attack; adversarial example; model privacy; artificial intelligence security
引言
机器学习模型在生命周期的各个阶段都可能面临着不同程度的安全风险导致模型无法提供正常的服务或者是泄露模型的隐私信息。例如攻击者可能对模型的训练数据和输入样本进行恶意篡改或是窃取模型参数从而破坏模型的机密性、可用性和完整性这就是机器学习模型面临的安全与隐私问题。
机器学习的CIA模型
机器学习模型安全需求总结为三个特性机密性Confidentiality、完整性Integrity和可用性 Availability即机器学习中的 CIA 模型。 机器学习的 CIA 三个特性都有可能被攻击破坏所对应的攻击方法分别称为机密性攻击、完整性攻击和可用性攻击。
数据安全风险与保护
攻击者通过将精心制作的样本插入训练集中来操纵训练数据分布以达到改变模型行为和降低模型性能的目的这种类型的攻击被称为“数据投毒”Data Poisoning攻击。
投毒攻击
后门攻击Backdoor Attack 木马攻击Trojan Attack
防御方法
大多数针对投毒攻击的防御机制依赖于一个事实前提即投毒样本通常在预期输入分布之外。因此可以将投毒样本视为异常值可以使用数据清理即攻击检测和删除和鲁棒学习即基于对边远训练样本本质上不太敏感的鲁棒统计的学习算法来净化训练样本。 鲁棒学习基于主成分分析Principal Component AnalysisPCA的投毒攻击检测模型 数据清理掩蔽特征Masked Features、DUTI 后门攻击检测激活聚类Activation ClusteringAC
模型安全风险与保护
攻击者试图通过各种方法改变模型输入特征以绕过现实任务中的机器学习模型的检测或直接对模型进行攻击以破坏其完整性从而达到对抗的目的。 其中攻击者最常用的攻击手段是通过向正常样例中添加精心设计的、人类无法感知的噪音来构造对抗性样例这种攻击方法称为“对抗攻击”或者是“对抗样例攻击”。 与其他攻击不同对抗性攻击的核心在于如何构造能促使机器学习模型产生误分类的对抗样例因此主要攻击过程发生在对抗样例构造阶段。在对抗样例的构造过程中根据攻击者所获取的目标模型具体信息多少分为白盒对抗攻击和黑盒对抗攻击。
白盒攻击计算机视觉领域
基于优化EAD 基于梯度FGSM、I-FGSM、PGD、JSMA 基于分类超平面Deepfool算法、对抗扰动Universal Adversarial PerturbationUAP 基于生成模型对抗性转换网络Adversarial Transformation NetworkATN、条件生成模型Conditional Generative Models、GANGenerative Adversarial Network 对抗补丁对抗补丁Adversarial Patch、PS-GAN 其他空域变换 物理世界的实际攻击变换期望算法Expectation Over TransformationEOT、 R P 2 RP_2 RP2Robust Physical Perturbations
黑盒攻击计算机视觉领域
基于迁移性的方法蓄水池算法Reservoir Sampling 基于梯度估计的方法基于零阶优化的有限差分算法ZOO 基于决策的攻击方法边界攻击Boundary Attack 基于采样的方法NES
