250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- UDF
- requests
- gather_nd
- youtube data
- 유튜브 API
- subdag
- grad-cam
- top_k
- session 유지
- airflow subdag
- correlation
- hadoop
- tensorflow text
- flask
- 상관관계
- 공분산
- API
- GCP
- spark udf
- chatGPT
- GenericGBQException
- Retry
- login crawling
- Counterfactual Explanations
- integrated gradient
- XAI
- BigQuery
- API Gateway
- TensorFlow
- Airflow
Archives
- Today
- Total
데이터과학 삼학년
Airflow VS Jenkins 본문
반응형
Airflow
-
airBnB에서 개발한 pipeline 작성 ㅁ치 workflow 관리를 위한 시스템
-
Dag라는 Directed Acyclic Graph 라는 개념의 workflow 단위로 실행
-
파이썬 코드로 작성되어, 동일한 task 수행시에도 for 문과 if 조건문을 이용해 손쉽게 파이프라인 잡 실행 가능
-
파라미터화가 되어 있지 않아, 실행할때마다 dag.py를 계속 고쳐주어야함
-
operator를 이용하여 복잡한 workflow의 구성이 손쉬움
-
t1 >> [t2, t3] >> t4 >> t1 등
-
dag간 연결을 위해 externalTaskSensor 사용
-
젠킨스의 trigger로 잡을 연결시키는 것과 비슷
Jenkins
-
groovy 기반으로 구성되어 있는 devops를 위한 시스템
-
web ui를 통해 손쉽게 활용 가능
-
파라미터화, 스케쥴링, ssh 트리거 등 손쉽게 가능
Airflow vs Jenkins 선호도 비교
개인적으로...
난 젠킨스가 편하다..
728x90
반응형
LIST
'DevOps' 카테고리의 다른 글
[Jenkins] remote ssh 연결하여 jenkins에서 다른 ssh에 명령 날리기 (feat. gcloud compute ssh, gcloud compute scp, jenkins) (0) | 2020.08.27 |
---|---|
젠킨스 workspace clean-up 설정 변경 (feat. 난 clean-up을 원치 않아!) (1) | 2020.06.05 |
Airflow (0) | 2020.06.03 |
jenkins workspace cleanup 설정 (0) | 2020.05.08 |
Docker 명령어 정리 (3) | 2020.04.07 |
Comments