开发区网站建设工作职责,wordpress 平铺水印,成品直播软件源码在哪里,网页制作的模块命名规范目录
海豚调度架构dolphinscheduler
DAG(Directed Acyclic Graph)#xff0c;
个人自用启动服务 DS的架构(海豚调度) 海豚调度架构dolphinscheduler 注:需要先开启zookeeper服务,才能进行以下操作 通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被…
目录
海豚调度架构dolphinscheduler
DAG(Directed Acyclic Graph)
个人自用启动服务 DS的架构(海豚调度) 海豚调度架构dolphinscheduler 注:需要先开启zookeeper服务,才能进行以下操作 通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被API服务接收到, 接收到后, 随机选择一台Master来完成任务的处理(DAG, 任务分配, 资源处理...)(底层最终是有对应schedule具体完成)(Master是去中心化的),完成分配后, 将对应执行的任务交给对应worker(从节点)来执行, worker对应有一个logger服务进行日志的记录, 在执行过程中, 通过logger实时查看执行日志, 当执行完成后, 通知Master, Master进行状态变更,同时告警服务实时监控状态, 一旦发现状态出现异常, 会立即根据所匹配的告警方案, 通知给相关的人员 创建自动化脚本 DAG(Directed Acyclic Graph) 中文名有向无环图。有向指的是有方向准确的说应该是同一个方向无环则指够不成闭环 在DAG中没有区块的概念他的组成单元是一笔笔的交易每个单元记录的是单个用户的交易这样就省去了打包出块的时间。验证手段则依赖于后一笔交易对前一笔交易的验证换句话说你要想进行一笔交易就必须要验证前面的交易具体验证几个交易根据不同的规则来进行。这种验证手段使得DAG可以异步并发的写入很多交易并最终构成一种拓扑的树状结构能够极大地提高扩展性。 hadoop 5个 hive2个 cm1个
全开的node1,17个服务 全开的node2 ,6个服务 个人自用启动服务 datax-web启动 cd /export/server/datax-web-2.1.2 ./bin/start-all.sh 海豚调度ds启动 cd /export/server/dolphinscheduler/ ./bin/start-all.sh postgres 虚拟机使用pg数据库服务 #psql -h 服务器 -p 端口地址 -d 数据库 -U 用户名 psql -h 127.0.0.1 -p 5432 -d postgres -U postgres 或者 psql -h hadoop01 -d postgres -U postgres #密码itcast123 退出 \q
