[Data] Data Engineering Zoomcamp 2주차

이번 주는 워크플로우 오케스트레이션의 기본 개념을 배우고, Kestra라는 툴을 활용해 간단한 워크플로우를 만들어보는 실습을 진행했다.  단순히 ETL 코드를 작성하기보다는, 데이터 파이프라인을 언제, 어떤 순서로, 어떻게 실행하고 관리해야 하는지를 고민해볼 수 있었던 한 주였다. 

이번 주에 배운 것들

• Kestra를 사용한 데이터 파이프라인 오케스트레이션
• 변수와 표현식을 사용한 동적 워크플로우 구성
• 과거 데이터를 처리하는 Backfill 개념과 구현
• 타임존을 고려한 스케쥴 설정

Airflow는 이전에 사용해봤지만, Kestra는 이번에 처음 접해봤다. 파이썬뿐 아니라 다양한 언어를 지원하고, 코드를 많이 작성하지 않아도 No Code 기반 워크플로우를 구성할 수 있다는 점이 특히 인상적이었다. 

 

간단한 예제 위주의 실습이었지만, 워크플로우 오케스트레이션 도구를 처음 접하거나 개념을 정리하기에는 좋은 경험이었다. 데이터 엔지니어링에 관심 있으신 분들이라면, Data Engineering Zoomcamp 수강 추천!