网站建设实施过程,物业公司管理系统,成都网站建设公司有哪些内容,怎么引导做淘宝的客户做官方网站启动Flink显示初始化状态怎么解决#xff1f;
Flink On Yarn模式
问题 flnk任务在跑的过程中#xff0c; 有时候任务停掉了 #xff0c;不过我有 定时任务#xff0c;可以把失败的flink任务拉起来#xff0c;但是因为最新的checkpoint做失败了#xff0c;导致脚本无法拉…启动Flink显示初始化状态怎么解决
Flink On Yarn模式
问题 flnk任务在跑的过程中 有时候任务停掉了 不过我有 定时任务可以把失败的flink任务拉起来但是因为最新的checkpoint做失败了导致脚本无法拉起flink任务任务会一直处于初始化状态这样是有问题的 因为我无法识别到最后一个checkpoint是成功的还是失败的思路
通过flink rest api可以判断出来这个初始化的状态然后删除失败的checkpoint 具体实现思路
具体的解决步骤(脚本实现):
1.通过任务名称获取appid;
2.curl http://${yarnaddr}/proxy/${appid}/jobs/overview 获取job的状态;
3.如果是初始化状态就删除当前的chk(其实就是最新的chk也是有问题的);,然后调用启动脚本
4.这个脚本就相当于一个巡检程序定时去扫描一下 如果有初始化就处理一下 如果没有的话忽略即可;脚本如下
flinkInitDeal.sh
#!/bin/bashsource ~/.bash_profileyarnaddr172.2.3.8:8088applicationnameyarn application --list | grep flink-etl | cut -f1
let i0 #获取任务数
let log_count0 #获取日志中的任务数
start_countRUNNING #判断任务是否存在异常cd /test/flinkcurl http://${yarnaddr}/proxy/${applicationname}/jobs/overview flink_job.logjobstatuscat /test/flink/flink_job.log | awk -F\ {print $14}if [[ ${jobstatus} INITIALIZING ]]
thenpath$(hadoop fs -ls -t -r /flink/checkpoints/* | sort -nr | grep chk | head -n 1 | awk {print $NF})hadoop dfs -rmr ${path}cd /home/hadoop/flink-1.14/app
sh stop.shsleep 10sh start.sh
