开源项目网站怎么做 带视频,访问国外网站dns,wordpress 右侧悬浮,媒介星软文平台随着FlinkSpark生态的不断完善#xff0c;越来越多的企业选择这两款组件#xff0c;或者其中之一作为离线实时的大数据开发工具#xff0c;但是在使用他们进行大数据的开发中我们会遇到一些问题#xff0c;比如#xff1a;
任务运行监控怎么处理#xff1f;使…
随着FlinkSpark生态的不断完善越来越多的企业选择这两款组件或者其中之一作为离线实时的大数据开发工具但是在使用他们进行大数据的开发中我们会遇到一些问题比如
任务运行监控怎么处理使用Cluster模式还是Nodeport暴露端口访问Web UI提交任务能否简化打包镜像的流程?如何减少开发压力
而StreamX就是专为解决这些问题而出现的其提供了如下的一些功能
开发脚手架Kubernetes部署模式支持YARN-Application部署模式支持多版本Flink支持(1.12.x, 1.13.x, 1.14.x )一系列开箱即用的Connectors支持项目编译功能(CICD/maven编译)快捷的日常操作(任务启动、停止、savepoint)支持Notebook(在线任务开发)在线参数配置项目配置和依赖版本化管理在线管理依赖(maven pom)和自定义jar自定义 udf、连接器等支持Flink SQL WebIDE
有的同学可能会使用Zeppelin比较多两者是有一定区别的侧重点不同。未来也会写文做一下两者的对比。
StreamX近期也发布了最新的版本StreamX 1.2.0。
在最新的版本中支持了以下功能
与 Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)Kubernetes 部署模式下, 任务的状态追踪监控支持自动 build/push 镜像Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0新增打包机模块任务打包 fat-jar 更方便
谁在使用StreamX 在2021年11月18日StreamX 也成功的入选了开源中国的2021年度最有价值开源项目。 未来的StreamX也进行着与dorisdolphinscheduler等整合的计划也会继续增强StreamX在Flink流上的开发部署能力与运行监控能力努力把StreamX打造成一个功能完善的流数据 DevOps。
StreamX是一个完全由国人发起的开源项目。也欢迎大家联系我们加入到开源项目中来为中国开源崛起献上一份自己的力量未来共同向着成为Apache顶级项目而努力。
