Airflow VS Jenkins

Airflow 

• airBnB에서 개발한 pipeline 작성 ㅁ치 workflow 관리를 위한 시스템

• Dag라는 Directed Acyclic Graph 라는 개념의 workflow 단위로 실행

• 파이썬 코드로 작성되어, 동일한 task 수행시에도 for 문과 if 조건문을 이용해 손쉽게 파이프라인 잡 실행 가능

• 파라미터화가 되어 있지 않아, 실행할때마다 dag.py를 계속 고쳐주어야함

• operator를 이용하여 복잡한 workflow의 구성이 손쉬움

• t1 >> [t2, t3] >> t4 >> t1 등

• dag간 연결을 위해 externalTaskSensor 사용

• 젠킨스의 trigger로 잡을 연결시키는 것과 비슷

 

Jenkins

• groovy 기반으로 구성되어 있는 devops를 위한 시스템

• web ui를 통해 손쉽게 활용 가능

• 파라미터화, 스케쥴링, ssh 트리거 등 손쉽게 가능

Airflow vs Jenkins 선호도 비교

 

개인적으로...

난 젠킨스가 편하다..