[Data] DE #100일챌린지 - Day 0: 시작

들어가며

부트캠프를 수료한지 얼마되지 않아, 감사하게도 데이터 엔지니어로 일할 수 있는 기회를 얻게 되었습니다. 실무 환경에서 새로운 것을 배우며 성장하고 있지만, 시간이 지날수록 한 가지 생각이 커져갔습니다.

"데이터 엔지니어링, 더 알고, 더 잘하고 싶다."

 

그렇게 고민하던 중, 우연히 "#100일챌린지"라는 책을 읽게 되었습니다. 100일 동안 매일 AI와 함께 프로그래밍을 하며 성장한 과정을 기록한 책이었는데, 그 안에서 몇 가지 중요한 메시지를 얻었습니다.

• 직접 만들어보고 부딪히는 경험은 실력 향상에 큰 도움이 된다.
• AI를 잘 활용하는 것이 중요하다.
• 꾸준함도 재능이다.

그래서 결심했습니다. 이 여운이 가시기 전에, 저도 한 번 매일 성장하는 경험을 해보기로요.

 

목표: "0에서 1까지 만들어보기"

100일 뒤에는 단순히 작동하는 파이프라인을 넘어서, 설계하고 개선할 줄 아는 데이터 엔지니어로 성장하는 것이 목표입니다.

1. End-to-End 데이터 파이프라인을 설계하고 구현할 수 있다.
2. 문제 상황에 맞는 기술을 판단하고, 적절히 활용할 수 있다. 
3. 단순 구현을 넘어, 아키텍처 관점에서 설계 사고를 익힌다.
4. 문제를 진단하고, 시스템을 개선할 수 있는 실무 감각을 기른다.

 

100일 동안의 계획

기간을 크게 네 부분으로 나눠서, 적용하고 -> 배우고 -> 기록하고 -> 회고하는 사이클을 반복하며, 점점 발전시켜 나가려고 합니다.

구분	주제	목표
Part 1 (Day 1-25)	기초 설계 & MVP 구축	작동하는 End-to-End 파이프라인 구성
Part 2 (Day 26-50)	구조화 & 모듈화	재사용 가능한 파이프라인 구조로 리팩토링
Part 3 (Day 51-75)	운영 & 관측 가능성	운영 수준으로 파이프라인 개선
Part 4 (Day 76-100)	확장 & 자동화	안정적이고 확장 가능한 운영 환경 구축

 

나가며

모든 것이 정말 빠르게 변화하는 시대에 살고 있습니다. 역설적으로 꾸준함이 귀해졌는데요. 앞으로 있을 하루 하루의 분투가 어떤 미래를 만들어내기를 바라며. 100일 챌린지, 지금부터 시작합니다! (이 글이 첫번째이자, 마지막 글은 아니기를 응원해주세요. 🤣)