我正在以一种复杂的方式运行一系列相互依赖的任务。我想将这些依赖关系描述为DAG(有向无环图),并在需要时执行该图。
我一直在研究气流,并写了一个虚拟脚本:
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
def cloud_runner():
# my typical usage here would be a http call to a service (e.g. gcp cloudrun)
pass
with DAG(dag_id="my_id", schedule_interval=None, start_date=datetime.max) as dag:
first_task = PythonOperator(task_id="1", python_callable=cloud_runner)
second_task = PythonOperator(task_id="2", python_callable=cloud_runner)
second_task_bis = PythonOperator(task_id="2bis", python_callable=cloud_runner)
third_task = PythonOperator(task_id="3", python_callable=cloud_runner)
first_task >> [second_task, second_task_bis] >> third_task
运行以下命令可以完成此任务:
airflow dags backfill my_id --start-date 2020-01-02
问题:
我的使用永远不会涉及任何形式的计划/开始日期/结束日期。此外,我的DAG将从python Flask服务器执行。
问题:
有没有办法在没有气流的情况下达到同样的效果?或者在一个独立的python脚本中,以只触发模式使用airflow(不包括所有调度部分、airflow.db等)?
谢谢