常州自助建站,花之语网页设计代码,建设通网站原理,i设计#x1f3e1; 个人主页#xff1a;IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 #x1f6a9; 私聊博主#xff1a;加入大数据技术讨论群聊#xff0c;获取更多大数据资料。 #x1f514; 博主个人B栈地址#xff1a;豹哥教你大数据的个人空间-豹… 个人主页IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 私聊博主加入大数据技术讨论群聊获取更多大数据资料。 博主个人B栈地址豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1. DAG任务依赖设置一
2. DAG任务依赖设置二
3. DAG任务依赖设置三
4. DAG任务依赖设置四
5. DAG任务依赖设置五 1. DAG任务依赖设置一
DAG调度流程图 task执行依赖
A B C
完整代码 airflow 任务依赖关系设置一
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args {owner: airflow, # 拥有者名称start_date: datetime(2021, 9, 22), # 第一次开始执行的时间为 UTC 时间retries: 1, # 失败重试次数retry_delay: timedelta(minutes5), # 失败重试间隔
}dag DAG(dag_id dag_relation_1, #DAG id ,必须完全由字母、数字、下划线组成default_args default_args, #外部定义的 dic 格式的参数schedule_interval timedelta(minutes1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A BashOperator(task_idA,bash_commandecho run A task,dagdag
)B BashOperator(task_idB,bash_commandecho run B task,dagdag
)C BashOperator(task_idC,bash_commandecho run C task,dagdag,retries3
)A B C 2. DAG任务依赖设置二
DAG调度流程图 task执行依赖
[A,B] C D
完整代码 airflow 任务依赖关系设置二
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args {owner: airflow, # 拥有者名称start_date: datetime(2021, 9, 22), # 第一次开始执行的时间为 UTC 时间retries: 1, # 失败重试次数retry_delay: timedelta(minutes5), # 失败重试间隔
}dag DAG(dag_id dag_relation_2, #DAG id ,必须完全由字母、数字、下划线组成default_args default_args, #外部定义的 dic 格式的参数schedule_interval timedelta(minutes1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A BashOperator(task_idA,bash_commandecho run A task,dagdag
)B BashOperator(task_idB,bash_commandecho run B task,dagdag
)C BashOperator(task_idC,bash_commandecho run C task,dagdag,retries3
)D BashOperator(task_idD,bash_commandecho run D task,dagdag
)[A,B] C D 3. DAG任务依赖设置三
DAG调度流程图 task执行依赖
[A,B,C] D [E,F]
完整代码 airflow 任务依赖关系设置三
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args {owner: airflow, # 拥有者名称start_date: datetime(2021, 9, 22), # 第一次开始执行的时间为 UTC 时间retries: 1, # 失败重试次数retry_delay: timedelta(minutes5), # 失败重试间隔
}dag DAG(dag_id dag_relation_3, #DAG id ,必须完全由字母、数字、下划线组成default_args default_args, #外部定义的 dic 格式的参数schedule_interval timedelta(minutes1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A BashOperator(task_idA,bash_commandecho run A task,dagdag
)B BashOperator(task_idB,bash_commandecho run B task,dagdag
)C BashOperator(task_idC,bash_commandecho run C task,dagdag,retries3
)D BashOperator(task_idD,bash_commandecho run D task,dagdag
)E BashOperator(task_idE,bash_commandecho run E task,dagdag
)F BashOperator(task_idF,bash_commandecho run F task,dagdag
)[A,B,C] D [E,F]
4. DAG任务依赖设置四
DAG调度流程图 task执行依赖
A BCD
A EF
完整代码 airflow 任务依赖关系设置四
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args {owner: airflow, # 拥有者名称start_date: datetime(2021, 9, 22), # 第一次开始执行的时间为 UTC 时间retries: 1, # 失败重试次数retry_delay: timedelta(minutes5), # 失败重试间隔
}dag DAG(dag_id dag_relation_4, #DAG id ,必须完全由字母、数字、下划线组成default_args default_args, #外部定义的 dic 格式的参数schedule_interval timedelta(minutes1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A BashOperator(task_idA,bash_commandecho run A task,dagdag
)B BashOperator(task_idB,bash_commandecho run B task,dagdag
)C BashOperator(task_idC,bash_commandecho run C task,dagdag,retries3
)D BashOperator(task_idD,bash_commandecho run D task,dagdag
)E BashOperator(task_idE,bash_commandecho run E task,dagdag
)F BashOperator(task_idF,bash_commandecho run F task,dagdag
)A [B,C,D]
A [E,F] 5. DAG任务依赖设置五
DAG调度流程图 task执行依赖
A BE
C DE
完整代码 airflow 任务依赖关系设置五
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args {owner: airflow, # 拥有者名称start_date: datetime(2021, 9, 22), # 第一次开始执行的时间为 UTC 时间retries: 1, # 失败重试次数retry_delay: timedelta(minutes5), # 失败重试间隔
}dag DAG(dag_id dag_relation_5, #DAG id ,必须完全由字母、数字、下划线组成default_args default_args, #外部定义的 dic 格式的参数schedule_interval timedelta(minutes1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A BashOperator(task_idA,bash_commandecho run A task,dagdag
)B BashOperator(task_idB,bash_commandecho run B task,dagdag
)C BashOperator(task_idC,bash_commandecho run C task,dagdag,retries3
)D BashOperator(task_idD,bash_commandecho run D task,dagdag
)E BashOperator(task_idE,bash_commandecho run E task,dagdag
)A BE
C DE
