社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

用python执行定义为DAG的任务的简单方法?

rronan • 4 年前 • 1773 次点击  

我正在以一种复杂的方式运行一系列相互依赖的任务。我想将这些依赖关系描述为DAG(有向无环图),并在需要时执行该图。

我一直在研究气流,并写了一个虚拟脚本:

from datetime import datetime

from airflow import DAG
from airflow.operators.python import PythonOperator


def cloud_runner():
    # my typical usage here would be a http call to a service (e.g. gcp cloudrun)
    pass


with DAG(dag_id="my_id", schedule_interval=None, start_date=datetime.max) as dag:
    first_task = PythonOperator(task_id="1", python_callable=cloud_runner)
    second_task = PythonOperator(task_id="2", python_callable=cloud_runner)
    second_task_bis = PythonOperator(task_id="2bis", python_callable=cloud_runner)
    third_task = PythonOperator(task_id="3", python_callable=cloud_runner)

    first_task >> [second_task, second_task_bis] >> third_task

运行以下命令可以完成此任务:

airflow dags backfill my_id --start-date 2020-01-02

问题:

我的使用永远不会涉及任何形式的计划/开始日期/结束日期。此外,我的DAG将从python Flask服务器执行。

问题:

有没有办法在没有气流的情况下达到同样的效果?或者在一个独立的python脚本中,以只触发模式使用airflow(不包括所有调度部分、airflow.db等)?

谢谢

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/128582
文章 [ 1 ]  |  最新文章 4 年前