我要建网站,文山网站建设求职简历,h5代码用什么软件编程,黑龙江做网站哪家好Wormhole 是一个一站式流式处理云平台解决方案#xff08;SPaaS - Stream Processing as a Service#xff09;。 Wormhole 面向大数据流式处理项目的开发管理运维人员#xff0c;致力于提供统一抽象的概念体系#xff0c;直观可视化的操作界面#xff0c;简单流畅的配置管… Wormhole 是一个一站式流式处理云平台解决方案SPaaS - Stream Processing as a Service。 Wormhole 面向大数据流式处理项目的开发管理运维人员致力于提供统一抽象的概念体系直观可视化的操作界面简单流畅的配置管理流程基于 SQL 即可完成的业务逻辑开发方式并且屏蔽了流式处理的底层技术细节极大的降低了数据项目管理运维门槛使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。 开源地址GitHub - edp963/wormhole: Wormhole is a SPaaS (Stream Processing as a Service) Platform
系统架构 设计理念 统一 DAG 高阶分形抽象 构建由 Source DataSysKafka TopicSpark StreamFlink StreamSink DataSys 组成的物理 DAG 每个物理 DAG 里可以并行处理多个由 Source NamespaceFlowSink Namespace 组成的逻辑 DAG 每个 Flow 本身是典型的 Spark RDD DAG 统一通用流消息 UMS 协议抽象 UMS 是 Wormhole 定义的流消息协议规范 UMS 试图抽象统一所有结构化消息 UMS 自身携带结构化数据 Schema 信息 Wh4 支持用户自定义半结构化 JSON 格式 统一数据逻辑表命名空间 Namespace 抽象 Namespace 唯一定位所有数据存储所有结构化逻辑表 [Data System].[Instance].[Database].[Table].[Table Version].[Database Partition].[Table Partition]
主要特性 支持可视化配置化SQL 化开发实施流式项目 支持指令式动态流式处理的管理运维诊断和监控 支持统一结构化 UMS 消息和自定义半结构化 JSON 消息 支持处理增删改三态事件消息流 支持单个物理流同时并行处理多个逻辑业务流 支持流上 Lookup AnywherePushdown Anywhere 支持基于业务策略的事件时间戳流式处理 支持 UDF 的注册管理和动态加载 支持多目标数据系统的并发幂等入库 支持多级基于增量消息的数据质量管理 支持基于增量消息的流式处理和批量处理 支持 Lambda 架构和 Kappa 架构 支持与三方系统无缝集成可作为三方系统的流控引擎 支持私有云部署安全权限管控和多租户资源管理
Experience
Admin 可以创建 Project/Namespace/User/UDF并且可查看所有 Flow/Stream/Job Admin 可以为 Project 分配 Namespace 资源/User 资源/UDF 资源/计算资源以支持多租户资源隔离 User 可以对自己有权限的 Project 进行开发实施和管理运维工作 User 可以通过简单配置步骤即可搭建起一个流式作业 pipelineFlow只需关注数据从哪来到哪去和如何转换处理 转换支持大部分流上作业常用场景大部分工作可以通过配置 SQL 实现流上处理逻辑 Wormhole 有 Flow 和 Stream 的概念支持在一个物理 Stream对应一个 Spark Stream里通过并行处理多个逻辑 Flow使得 User 可以更加精细灵活的利用计算资源User 也可以对 Stream 进行精细化参数配置调整以更好平衡需求和资源 Wormhole 也支持批处理 Job同样可以配置化实现处理逻辑并落到多个异构 SinkFlow 和 Job 的配合可以很容易实现 Lambda 架构和 Kappa 架构 User 可以查看 Project 相关的 Namespace/User/UDF/Resource User 还可以监控 Project 正在运行的所有 Flow/Stream 的吞吐和延迟
