徐州网站建设多少钱,ppt设计报价,网站空间后台密码,如何做好网站内更新作者#xff1a;车漾#xff08;必嘫#xff09;
本系列文章将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景。
概述
在 AI 和大数据时代#xff0c;算力即正义#xff0c;强大的算力推动了源源不断的创新。然而#xff0c;企业自建的算力集群存在资源容量和…作者车漾必嘫
本系列文章将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景。
概述
在 AI 和大数据时代算力即正义强大的算力推动了源源不断的创新。然而企业自建的算力集群存在资源容量和弹性能力相对有限的问题在业务低谷时可能会面临高昂的资源闲置成本而在业务高峰时则可能会面临资源紧张的挑战。特别是在 AI 和大数据时代越来越多的企业正在寻求将公共云作为算力的有效补充。
考虑到某些企业对于数据主权的特殊要求他们需要将数据存放在私有云中但同时也希望能够享受公共云的弹性、可靠性和成本优势。在这种情况下混合云的使用变得愈发普遍。混合云可将阿里云的云服务与企业自建数据中心相融合阿里云上的计算资源通过专线访问数据并由 ACK One 统一进行管理。这种混合云解决方案不仅帮助客户节省成本还提供了更高的性能和更强的安全保障。但是跨云的计算访问数据场景会带来共性的问题
云上通用计算和线下异构存储的适配复杂 适配公共云通用弹性计算访问线下异构存储需要一定的开发和集成工作时间周期较长。生产环境的维护和问题排查成本也会有所增加。数据访问性能影响工程效率 跨云数据访问慢影响数据分析和 AI 训练的效率。冗余数据访问开销 对于热点数据的反复读取会带来不必要流量费用。数据源的传输和复制 / 同步 如何复制 / 同步线下和公有云的数据保证数据的一致性? 下面我们介绍一下 ACK Fluid [ 1] 支持混合云数据访问常见的应用场景这些场景以 Kubernetes 下读数据为主 特点是接入简单无侵入性能好低成本自动化
应用场景 1
接入第三方分布式存储连接弹性计算实例和云下存储
许多企业的数据都是存在线下并且使用的存储类型多样包括各种开源存储CephlustrureJuiceFSCubeFS和自建存储。在使用公共云计算资源的时候也存在挑战
数据迁云安全性和成本评估时间长 对于数据迁移到云存储上需要安全和存储团队的长时间评估这会延缓整个上云过程。数据访问无法适配 比如公共云对于弹性计算实例ECI支持的分布式存储类型有限比如 NASOSSCPFS但是对于第三方存储缺乏支持。接入云平台周期长和难度高 需要开发和维护云原生兼容的 CSI 插件一方面需要相关的专家和开发适配工程量同时要维护版本的升级同时支持的场景有限。比如自建 CSI 无法适配弹性计算实例ECI。缺乏可信透明的数据接入方式 如何在 Serverless 容器的黑盒系统访问数据过程中规避泄露如何确保数据在传输、访问过程中安全透明可靠。避免业务修改的需求 如何确保业务用户不感知基础设施层面的差异避免对现有应用本身进行任何修改。
ACK Fluid 通过提供 ThinRuntime 扩展机制 [ 2] 支持将基于 FUSE 实现第三方存储客户端以容器化的方式接入 Kubernetes 中可以支持阿里云上标准 Kubernetes边缘 KubernetesServerless Kubernetes 多种形态。
1. 开发简单 基于 ThinRuntime 方案只需要会用 docker 即可一般开发工作 2-3 小时左右从而显著降低了接入第三方存储的工作成本。
2. 安全可控 以容器化的方式支持自定义方式实现数据访问。整个数据访问过程云平台无侵入无需提供实现细节。
3. 使用方便只需要在 PVC持久卷申请中添加特定 label 即可满足了业务用户无需感知基础设施层面的差异的需求能将存储适配时间缩短为原计划的十分之一。
4. 开源标准基于开源 Fluid 标准对于 ThinRuntime 提供了完整的支持只要满足开源要求就可以适配 ACK Fluid。整个开发测试可以在 MiniKube 环境完成。
5. 可观测可控制第三方存储客户端只需要实现自身的容器化就可以转化为 Fluid 管理的 Pod无缝接入 Kubernetes 体系并获得可观测性和计算资源可控制性。
总结 ACK Fluid 为云上计算访问云下数据提供了扩展性好安全可控低适配成本和与云平台实现无关的好处应用案例参见小米 [ 3] 。 应用场景 2
加速第三方存储卷声明降低资源成本
在满足场景 1 下即便云上计算能够以 Kubernetes 的标准化协议 PV 存储卷访问企业的线下存储也无法避免在性能成本上的挑战和需求
数据访问带宽有限和高延时 云上计算访问云下存储带来的数据访问延时和带宽有限导致高性能计算耗时长计算资源利用率低数据冗余读取网络费用昂贵 深度学习模型的超参调优、自动调参深度学习任务等运行期间会不断重复访问同一数据。但是由于 Kubernetes 原生调度器无法感知数据缓存状态导致应用调度的结果不佳缓存无法重用导致数据重复拉取引入更多外网和专线费用。线下分布式存储是数据并发访问的瓶颈而且面临着性能和稳定性方面的挑战 当大规模算力并发访问线下存储且深度学习训练的 IO 压力增大线下分布式存储很容易成为性能瓶颈。这会对计算任务造成影响甚至会导致整个计算集群失效。受网络稳定性影响严重 一旦公共云和数据中心之间网络不够稳定会导致数据同步出错应用处于不可用的状态。数据安全需求 元数据和数据需要保护不允许够持久化到云盘上。
ACK Fluid 提供了基于 JindoRuntime 的 PV 存储卷通用加速能力 [ 4] 可以支持满足 PVC 的第三方存储简单快速安全的获得通过分布式缓存实现数据访问加速能力可以带来如下好处
1. 使用简单 只需要实现 CSI 协议中 PVC 的第三方存储即可以立即使用无需额外开发。
2. 高性能提效率 通过数据预热、弹性带宽和缓存亲和感知调度实现云上计算集群访问云下数据性能无损失
3. 降成本省流量 通过分布式缓存将热点数据持久到云上减少数据读取降低网络流量同时吞吐可以弹性伸缩按照业务削峰填谷。
4. 自动化 以数据为中心的自动化运维提高运维效率包括自动缓存预热、自动化扩缩容和清理实现高效管理。
5. 更安全 分布式内存缓存提高安全性无需数据落盘适用于敏感用户提供卓越性能和安全保障。
总结 ACK Fluid 为云上计算访问第三方存储 PVC 提供了开箱即用高性能低成本自动化和无数据落盘的收益应用案例参见 360。 应用场景 3
实现第三方存储主机目录挂载 Kubernetes 化标准化并加速提效
也有许多企业由于历史原因和技术云下存储选择没有支持 CSI 协议只支持以主机目录的方式挂载一方面存在与 Kubernetes 标准化平台的对接的挑战另一方面也需要应对与场景 2 类似的性能和成本的问题
缺少标准化上云困难 主机目录挂载的模式由于无法被 Kubernetes 感知和调度很难被容器化工作负载使用和管理。缺少数据隔离性 由于整个目录都被挂载到主机上并被所有的工作负载访问导致数据全局可见。数据访问在成本性能和可用性上有何场景 2 相同的需求因此不再赘述。
ACK Fluid 提供了基于 JindoRuntime 的 PV 主机目录通用加速能力直接支持主机目录挂载可以原生简单快速安全的获得通过分布式缓存实现数据访问加速能力。
1. 标准化 将传统架构迁移至云原生将主机目录挂载模式变化为 Kubernetes 可以管理的 CSI 协议下的 PV 存储卷便捷与公共云标准协议结合。
2. 迁移低成本 传统架构迁移低成本无需额外开发只需要在部署时刻将 Hostpath 协议转换成 PV 存储卷。
3. 数据隔离更容易 接入 Fluid 后可以通过子数据集模式可以控制不同用户对于线下存储不同目录的可见性无需额外开发。
4. 高性能提效率 通过数据预热、弹性带宽和缓存亲和感知调度实现云上计算集群访问云下数据性能无损失
5. 降成本省流量 通过分布式缓存将热点数据持久到云上减少数据读取降低网络流量同时吞吐可以弹性伸缩按照业务削峰填谷。
6. 自动化 以数据为中心的自动化运维提高运维效率包括自动缓存预热、自动化扩缩容和清理实现高效管理。
7. 更安全 分布式内存缓存提高安全性无需数据落盘适用于敏感用户提供卓越性能和安全保障。
总结 ACK Fluid 为云上计算访问第三方存储的主机目录挂载方式提供了开箱即用高性能低成本自动化和无数据落盘的收益。 应用场景 4:
跨区域中心数据分发
许多企业出于性能、安全、稳定性和资源隔离的目的会在不同区域建立多个计算集群。而这些计算集群需要远程访问唯一中心化的数据存储。比如随着大语言模型的逐渐成熟基于其的多区域推理服务也逐渐成为各个企业需要支持的能力针对这一场景仍有不小的挑战
多计算集群间手动同步数据非常耗时。大型语言模型的管理复杂由于不同业务需求会选择不同基础模型和数据导致最终模型存在差异。模型数据频繁更新根据不同业务输入进行迭代。拉取大型语言模型文件耗时长启动模型推理服务较慢。参数规模庞大体积通常达到几百 GB在 GPU 显存中加载时间巨大。模型更新要求所有区域同步更新使用过载的存储集群进行复制作业会严重影响现有负载性能。
ACK Fluid 除了提供通用存储客户端的加速能力还提供了定时和触发式数据迁移和预热能力简化数据分发的复杂度。
1. 节省成本 跨区流量成本大幅降低计算时间明显缩短少量增加计算集群成本并且可以通过弹性进一步优化。
2. 加速应用 由于计算的数据访问在同一个数据中心或者可用区内完成通信延时降低且缓存吞吐并发能力可线性扩展。
3. 简化数据同步 通过自定义策略控制数据同步操作降低数据访问争抢同时通过自动化的方式降低运维复杂度。 综述
在本文中我们简单介绍了通过 ACK Fluid 和 JindoFS 团队的 JindoRuntime 可以支持的混合云场景分类后续文章中我们会对以上场景的具体实践和使用方式进行详细介绍。
相关链接
[1] ACK Fluid
https://help.aliyun.com/zh/ack/cloud-native-ai-suite/user-guide/overview-of-fluid
[2] ThinRuntime 扩展机制
https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/thinruntime.md
[3] 小米
https://www.infoq.cn/article/kco7hi5TcVE08ySwNIw7
[4] PV 存储卷通用加速能力
https://help.aliyun.com/zh/ack/cloud-native-ai-suite/user-guide/accelerate-pv-storage-volume-data-access
