佛山网站建设哪里好,wordpress媒体库插件,网页修改软件,广州番禺越秀和樾府DataStream API 将你的应用构建为一个 job graph#xff0c;并附加到 StreamExecutionEnvironment 。当调用 env.execute() 时此 graph 就被打包并发送到 JobManager 上#xff0c;后者对作业并行处理并将其子任务分发给 Task Manager 来执行。每个作业的并行子任务将在 task…
DataStream API 将你的应用构建为一个 job graph并附加到 StreamExecutionEnvironment 。当调用 env.execute() 时此 graph 就被打包并发送到 JobManager 上后者对作业并行处理并将其子任务分发给 Task Manager 来执行。每个作业的并行子任务将在 task slot 中执行。
client
Client 不是运行时和程序执行的一部分而是用于准备数据流并将其发送给 JobManager。
JobManager
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责它决定何时调度下一个 task或一组 task、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成 ResourceManager ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task slots这是 Flink 集群中资源调度的单位请参考TaskManagers。Flink 为不同的环境和资源提供者例如 YARN、Kubernetes 和 standalone 部署实现了对应的 ResourceManager。在 standalone 设置中ResourceManager 只能分配可用 TaskManager 的 slots而不能自行启动新的 TaskManager。 Dispatcher Dispatcher 提供了一个 REST 接口用来提交 Flink 应用程序执行并为每个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。 JobMaster JobMaster是JobManager中最核心的组件负责处理单独的作业Job。所以JobMaster和具体的Job是一一对应的多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster。
TaskManagers
TaskManager也称为 worker执行作业流的 task并且缓存和交换数据流。
Flink 运行时由两种类型的进程组成一个 JobManager 和一个或者多个 TaskManager。
