电子商务网站建设基础项目实训,济南网站app开发,东莞做网站哪家最好,火车票网站建设Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会#xff0c;作为最受 Apache Flink 社区开发者期盼的年度峰会之一#xff0c;FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态#xff0c;是中国 Flink 开发者和使用者不可错过的的技术盛宴。 …
Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会作为最受 Apache Flink 社区开发者期盼的年度峰会之一FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态是中国 Flink 开发者和使用者不可错过的的技术盛宴。 今年 Flink Forward Asia以下简称 FFA 回归线下将于 12 月 8 - 9 日在北京望京凯悦酒店举办。延续 FFA 惯例峰会所有议题均为开放征集而来并由专业的议题评选委员会评分筛选确保内容代表行业领先水平为开发者们输出更加优质的干货并为各企业提供可借鉴的实践经验。本次大会字节跳动 7 项议题入选包括OLAP Serverless、流批一体、自动化运维的大规模落地实践外也对抖音、头条等业务背后的监控预警、实时数仓、推荐平台实践进行分享。 FFA 2023 官网https://flink-forward.org.cn/ 议题推荐
Flink OLAP Serverless 能力在字节跳动的落地实践
冯向宇字节跳动基础架构工程师
演讲介绍随着 Flink OLAP 在高 QPS 下的作业调度和作业执行优化逐渐落地Flink OLAP 在字节内部的业务规模也大幅增长同时也遇到了更多样化的计算挑战其中最主要的一项挑战是计算能力的 Serverless 化。通过开发实现资源隔离、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性我们完成了 Flink OLAP的Serverless 能力改造并在内部成功完成了业务推广。本次分享我们将从 Flink OLAP 遇到的 Serverless 能力挑战、资源隔离实现、云原生能力增强、弹性扩缩容、业务落地及规划等五个方面进行介绍。
流批一体在字节跳动的大规模落地实践
苏德伟字节跳动基础架构工程师
演讲介绍Flink 是事实上的流计算标准但在批计算场景的应用并不广泛。随着 Flink 引擎流批一体能力的完善在字节跳动内部我们将离线数据同步场景下的 2.2w Spark SQL 作业迁移至 Flink Batch SQL以推进流批一体的落地。Spark SQL 作业具有丰富的 Pattern我们通过解决大量 Spark SQL 的兼容性问题并进行数据准确性校验以及自动化迁移将每日例行作业平滑迁移至 Flink Batch 并在线上稳定运行。本次分享将主要从以下五个部分介绍流批一体在字节跳动的大规模落地实践。 字节全增量一体化实时数据建设方案
秦冰伦字节跳动实时数据工程师 刘想字节跳动实时数据工程师
演讲介绍字节的业务包含很多全增量一体化数据场景典型场景如用户画像、风控、房产等运营既需要过去长时间范围的数据来挖掘潜在的价值也对数据新鲜度有很高的诉求因此实时数据的全增量一体化价值很大。本次分享主要介绍全增量一体化流式计算建设过程中面临的挑战和解决方案。 Flink 自动化运维的大规模落地实践
陈张昊字节跳动基础架构工程师
演讲介绍过去几年中字节跳动内部 Flink 作业规模逐渐增长到数万量级业务有限的人力趋于无力应对随流量变化需人工调优资源配置、单机问题易导致慢节点需人工迁移等带来的运维压力。面对运维难题沉淀出一套 Flink 自动化运维体系并在内部大规模落地实践托管了 1.5W 任务在流量变化时自动扩缩容以避免消费积压的同时可以提升资源使用率、每日自动迁移 1K 次慢节点消除消费积压有效减轻了业务的 Flink 作业运维压力。本次分享我们将从以下五个方面介绍 Flink 自动化运维的落地实践。 字节跳动实时数仓质量与成本治理平台实践
朱福生字节跳动数据工程师
演讲介绍随着业务对数据时效要求的提升和实时任务数量的不断增加字节跳动已运行了上万的 Flink 实时任务由于实时任务依赖的组件繁多、开发人员众多 、开发习惯和经验参差不齐等各类主客观因素导致任务稳定性、资源浪费等问题频出。因此任务治理势在必行但纵观整个治理过程仍存在以下矛盾业务与治理的矛盾、人力与治理的矛盾、问题与可评价的矛盾。本文将通过治理背景、健康分体系、治理收益、健康分规划四个方面来介绍实时健康分如何让实时治理简单、高效、可持续化。 字节推荐面向下一代特征工程架构演进之路
刘首维字节跳动推荐架构工程师
刘方奇字节跳动推荐架构工程师
演讲介绍字节跳动在过去几年的发展中推荐系统基于 Flink、Spark、Hudi 等大数据组件打造了支持万亿数据吞吐的特征生产系统随着直播、电商、生活服务等业务高速发展和算法工程师规模的扩大对推荐系统中的离线组件在易用性、成本、架构方面提出了进一步挑战我们也在此背景下提出了新一代特征生产和入湖链路其中包括引入推荐系统 Planner、面向用户的 Python SDK 以及 Flink 流批一体的样本入湖等功能在开发效率、成本和性能上都有显著收益其中原始特征生产的开发上线周期从 N 天至 1 周可以降低到小时级推荐样本入湖的计算性能也提升到了原来的 3 倍。 Flink 在抖音实时监控预警场景下的落地实践
张宏博字节跳动数据工程师
演讲介绍随着实时数仓的发展建设及业务对实时数据的强诉求实时数仓支持了越来越多高优业务同时也遇到了新的挑战。从最初快速支持业务到更加注重时效性、准确性我们的目标不断提升架构不断完善在提升数据时效性、准确性的道路上持续探索。经历了一系列的方案-工具-平台的迭代演进后最终沉淀了一套基于 Flink SQL 的实时监控预警体系帮助及时发现数据问题助力业务实现监控诉求。本次分享从数据层面和业务层面两个角度出发为大家介绍抖音基于 Flink 的实时监控预警能力落地实践。 直播预约参会报名
PC 端可前往 FFA 2023 大会官网操作https://flink-forward.org.cn/。
移动端可关注「Apache Flink」视频号预约直播。
