목록airflow (1)
끄적끄적
Apache AirFlow를 이용한 scheduling 경험 기록
1. 문서의 목적 회사에서 AirFlow를 이용하여서 단순 반복 작업을 자동화 시키는 업무를 진행중이다. 이와 관련하여 도움이 될만한 정보들을 기록한다. 2. AirFlow 개요 AirFlow란 순서관계가 있는 여러가지 작업들을 DAG(Directed Acyclic Graph)로 구현할 수 있도록 도와주는 파이썬 패키지이다. 리눅스에서 제공하는 "크론탭"이라는 것과 비슷한 역할을 한다고 한다.(저자는 크론탭은 사용해보지 않았다.) 순서관계야 쉘스크립트 하나 짜서, 호출하도록 하면 되는거 아니냐 싶겠지만! AirFlow를 이용하면 로그수집이나, 실패시의 retry, 그리고 무엇보다 깔끔한 UI를 통해서 작업 상황을 일목요연하게 추적할 수 있다. 개인적으로는 모든 stdout을 알아서 시간대별로 기록해 주어..
개발 툴 사용관련
2019. 6. 7. 22:20