做网站需要关注哪些重要问题,佛山 网络推广,网站备案什么注销,广东搜索引擎优化2021 年 9 月 8 日#xff0c;StarRocks 开源社区诞生。从第一天开始#xff0c;我们怀揣着“打造世界一流的数据分析产品”的梦想#xff0c;踏上了星辰大海的征途。 两年间#xff0c;StarRocks 在 GitHub 上收获了 5.4K Stars#xff0c;产品共迭代发布了 90 余个版本StarRocks 开源社区诞生。从第一天开始我们怀揣着“打造世界一流的数据分析产品”的梦想踏上了星辰大海的征途。 两年间StarRocks 在 GitHub 上收获了 5.4K Stars产品共迭代发布了 90 余个版本288 家市值超过 10 亿美元的头部用户在生产环境中上线运行。“不止步于极速”StarRocks 更是在短短一年内完成了从全场景 OLAP 分析进化到云原生湖仓分析的进化。 StarRocks 突飞猛进的发展都要得力于社区用户的使用反馈和开发者们不断地帮 StarRocks 添砖加瓦使其生态体系更加完善。在过去一年内StarRocks 发布了 v2.5、v3.0、v3.1 三个重大的里程碑版本其中存算分离、湖仓分析、物化视图等重量级特性 为极速统一湖仓分析新范式的落地奠定了坚实基础。 进化永不止步 从诞生之初StarRocks 就不断在探索关于“极速统一”之道。全面向量化引擎、CBO 查询优化器、实时更新数据模型、Pipeline 执行引擎相继发布将 OLAP 分析性能提升到了新的高度也引领了当前大数据分析的发展趋势。 随着各项重要功能历经 2 年、近 300 家各行业头部用户在生产环境中的打磨与完善StarRocks 完成从 OLAP 到云原生湖仓的快速进化通过湖仓一体让企业能基于一份数据满足 BI 报表、多维分析、Ad-hoc 查询、实时分析等不同场景的数据分析需求 StarRocks 往 One dataall analytics 的目标不断前行。 湖仓一体化极速查询引擎 Presto/Trino/Impala 一直以来都是行业最好的数据湖Hive/Hudi/Iceberg/Deltalake 等查询引擎。但是其性能无法和将数据导入到 ClickHouse 或是 StarRocks 此类极速 OLAP 数据库/数仓相媲美用户通常会组合使用运维和使用都会比较复杂StarRocks 期望彻底改变这种“组合”模式推出更一体化的方案。StarRocks 的湖仓一体化极速查询引擎的理念是可以同时极速查询数据湖数据和 StarRocks 本地数据。从 StarRocks 2.0 到 StarRocks 3.0 版本 经过一年半的时间和 7 个大版本的持续打磨StarRocks 终于发布了业内第一个成熟完善的湖仓一体化极速查询引擎让数据湖查询和本地数据查询基本持平并且数据湖查询达到了 Presto/Trino/Impala 等系统的 3-6 倍以上的性能水平。 基于物化视图MV的轻量化数据建模 当前数据工程师进行数据建模时需要通过预先构建大量 ETL 任务来生成 ODS/DWD/DWS/ADS 数据表。这种数据建模方法比较重周期长而且会存在很多无用 ETL。StarRocks 基于 MV 的轻量化数据建模方法提供了全新模式将逻辑建模与物理建模分离 无需预先大量 ETL只需要用 view 来建立各层数据模型快速交付 view 给业务查询使用 在业务查询使用中随需创建多表/单表 MV 实现透明查询加速 业内 Clickhouse、Doris、Snowflake 等打造了比较好的单表 MV缺乏完善的多表 MV 支持不足以支持轻量级数据建模方法的落地。StarRocks 在 2.4 版本发布了多表 MV之后经过 12 个月的时间和三个版本—— StarRocks 2.5、 StarRocks 3.0 和 StarRocks 3.1 版本的打磨已经成为业内第一个可以同时支持复杂查询、数据湖外表和异步构建的多表 MV可以很好的支持轻量化建模方法落地成为用户针对数据建模和 ETL 进行降本增效的大杀器。 此外物化视图也成为 StarRocks 3.0 的核心功能物化视图通过声明式的方式降低了传统 ETL 中 Transform 的复杂度通过外表物化视图可以无缝连接湖仓通过查询改写可以透明加速通过 spill 和分区增量刷新可以进行稳定的物化视图构建和细粒度的物化视图刷新策略。帮助用户的湖仓建模更容易。 极简存算分离架构 Snowflake 打造出了全球最好的存算分离架构让很多云服务用户受益匪浅。但是其架构组件复杂无法简单部署到用户的各类私有化环境。StarRocks 在存算分离上的创新初心是打破这种限制让任何社区用户都可以将存算分离架构轻松部署到各类私有环境获取更多降本增效的收益。StarRocks 3.0 版本发布的全新极简存算分离架构基于原创的云原生操作系统 StarOS整个新架构只有 FE 和 CN 两个模块无需任何外部组件依赖部署运维和非存算分离版本一样简单性能一样出色。用户可以随时随地部署使用 StarRocks 存算分离架构实现降本增效。 更加引人注目的是3.0 版本的存算分离架构不仅学习了 Snowflake 的优点通过内置的 StarOSStarRocks 实现了完全无需外部组件的部署大大简化了用户的操作。让用户在各种云上云下的环境都可以通过存算分离架构来接口存储介质提升更好的弹性能力实现多 AZ 甚至多云的高可用能力。大量用户的实践也证明了 StarRocks 存算分离架构已经走向成熟将逐渐变成 StarRocks 的默认架构。 产品能力进化时间线 一文了解 StarRocks 物化视图、湖仓分析和存算分离 重新定义物化视图你必须拥有的极速湖仓神器 当打造一款极速湖分析产品时我们在想些什么 兼顾降本与增效我们对存算分离的设计与思考 进化不止代码 创建一个健康的开源项目需要整个社区的共同协作在开源生态系统中每个参与者都有机会塑造和改进软件用户可以识别所需功能并贡献代码或用户案例。只有当整个社区和相关社区积极参与时一个开源项目才能成功发展为一个繁荣的生态系统这包括代码贡献者、用户、文档编写者、软件和平台供应商以及集成者等各方。 StarRocks 社区始终相信开放协作的力量信奉 “Code is power. Community is strength. And Openness is everything. ”。代码是改变世界的力量社区给了我们无限的可能而这一切都只有通过开放才能实现。StarRocks 社区的价值观具体体现在 对极速统一的云原生湖仓一体技术的持续探索用户能更快、更低成本且更简单地在海量数据中挖掘数据的价值助力业务成功。 与用户共同成长彼此成就建立产品文档、新手教程、产品特性解析、FAQ 、最佳实践和丰富的用户案例知识库并且通过 StarRocks 城市行、开源集市、线上线下会议和微信/Slack/GitHub 等渠道与用户零距离交流。 开放生态无缝衔接上下游组件2022 年底StarRocks 项目正式捐献给 Linux 基金会更加中立、开放并与开放的数据生态产品如 Apache Flink、Apache SeaTunnel、Apache Paimon、Apache Hudi、Apache Icerberg 等社区共建现代数据栈。 蓬勃发展的用户社区 StarRocks 发展至今已有超过 288 家估值超过 10 亿美元的行业头部用户。这些用户遍布各行业许多用户也在使用 StarRocks 后积极向社区分享了使用场景和实践经验。以下是一些具有代表性的用户案例 互联网芒果 TV、 滴滴、万物新生、 贝壳、同程旅行、得物、小红书、携程、美团餐饮 SaaS、360、微信 物流顺丰、跨越速运、京东物流、达达 金融中信建投、中欧财富 、众安保险、中原银行、信也科技 游戏波克城市、37 手游、腾讯游戏、游族网络 汽车 理想汽车、 蔚来汽车、、吉利汽车、首汽约车、汽车之家 制造/零售大润发、华润万家、TCL、华米科技、百草味 完整的用户案例合集请见 StarRocks 公众号“StarRocks 用户案例合集” 和 StarRocks B 站 深度参与社区共建的伙伴 StarRocks 各个代码仓库下已有超过 300 名贡献者其中有许多人贡献了文档、函数、connector、周边生态等功能。我们由衷感谢每一位为 StarRocks 贡献力量的朋友们。特别要感谢以下深度参与社区的伙伴们他们为 StarRocks 提供了备受用户欢迎的重要特性。 最后感谢每一位为 StarRocks 添砖加瓦的小伙伴们https://github.com/StarRocks/starrocks/graphs/contributors 总结与展望 过去的一年对于 StarRocks 来说是至关重要的一年我们在产品、用户规模和社区治理模式方面不断进化取得了飞跃式的成长。 产品从原本的 OLAP 分析引擎到现在的湖仓一体再从存算一体到存算分离StarRocks 已发展成为极速统一云原生湖仓分析的新范式 用户规模经过短短一年的时间我们从千人规模的社区成长为超过万人的社区拥有来自世界各地的众多知名用户积极参与并支持 StarRocks 社区治理StarRocks 的社区治理也越来越开放更多开发者能通过不同的兴趣小组SIG参与研发工作 专家们能加入技术指导委员会TSC, Technical Steering Committee参与 StarRocks Roadmap 的制定和培养社区优秀人才 未来 StarRocks 社区也将保持着合作、开放、共赢的信念与用户们一同探索新一代的云原生湖仓共同打造极速统一湖仓分析的新范式让我们期待更加精彩的下一周年 本文由 mdnice 多平台发布
