데이터과학 삼학년

Apache Airflow에서는 각 태스크(task)에 대한 retry 및 timedelta를 개별적으로 설정 가능 retry 및 timedelta는 DAG(Directed Acyclic Graph)에 정의된 각 태스크의 default_args 속성에서 설정 default_args 속성에는 모든 DAG 및 해당 태스크에 적용되는 기본 인수가 포함되는 형태인데, task안에서 오버라이딩(?) 하듯이 default_args를 재정의 해주면 됨~!!! from datetime import timedelta from airflow import DAG from airflow.operators.python_operator import PythonOperator default_args = { 'owner': 'air..

SubDag - SubDag는 Airflow DAG 안에 존재하는 작은 DAG - 이를 사용하면 하나의 큰 DAG를 여러 작은 DAG로 분리 가능 - 이렇게 작은 DAG로 분리함으로써, 개발, 테스트 및 유지보수가 더 쉬움 - 또한, SubDag는 DAG를 이해하기 쉬운 작은 단위로 나눌 수 있으며, 작은 단위별로 추적할 수 있어 일부 작업이 실패한 경우 재시작 가능 - SubDag는 DAG 생성 시 하위 레벨의 DagBag에 의해 생성 - 하위 레벨의 DAG는 SubDagOperator를 사용하여 DAG 내에서 호출 SubDag의 장단점 장점 큰 DAG를 여러 작은 DAG로 분리할 수 있으므로 개발, 테스트 및 유지보수가 더 쉬워집니다. 작은 DAG로 나누어짐으로써 DAG를 이해하기 쉬운 작은 단위로 ..