[Data] Data Engineering Zoomcamp 1주차

Data Engineering Zoomcamp 1주차 회고

 

회사에서 데이터 엔지니어링 라이프사이클의 일부만 경험하다 보니, 전체 흐름을 한 번은 처음부터 끝까지 직접 다뤄보고 싶다는 생각이 들었다. Data Engineering Zoomcamp는 이 과정을 경험할 수 있는 좋은 기회라고 느껴 수강하게 되었다.

 

1주차에서는 Docker, SQL, Terraform을 다뤘다. 특히 Docker Compose 네트워킹이 헷갈렸다. pgAdmin에서 localhost로 PostgreSQL에 연결되지 않는 이유를 정리해보면서, 컨테이너 간 통신은 서비스 이름과 내부 포트를 사용해야 한다는 기본 개념을 확인했다. 

 

Terraform은 대략적으로만 알고 있었는데, 가장 신기했다. UI에서 하나씩 설정하던 작업을 코드로 정의하고, 명령어로 생성/변경/삭제할 수 있다는 점이 인상적이었다. 

 

예전에도 한번 Data Engineering Zoomcamp를 수강하려다가 못했었는데, 그때와 달라진 게 있다면 생성형 AI의 발전이 아닐까 싶다. 막히는 부분이 생겨도 끝까지 완주할 수 있기를!