경험 기반 구체화
AWS와 Snowflake를 활용한 프로덕션 운영 경험은 없지만, 학교 수업과 개인 프로젝트를 통해 기본 환경 구성을 실습해봤습니다. AWS에서는 S3와 Lambda를 연결하는 파이프라인을 구성해보면서 서버리스 아키텍처의 장점과 콜드 스타트 지연 같은 한계도 직접 확인했습니다. Snowflake는 학교 데이터 엔지니어링 수업에서 Time Travel과 제로카피 클로닝 기능을 실습했는데, 대용량 데이터를 비용 효율적으로 다루는 방식이 기존 RDBMS와 어떻게 다른지 이해하게 됐습니다. 빅데이터 환경에서는 컬럼형 스토리지가 분석 쿼리 성능에 얼마나 큰 차이를 만드는지도 수치로 확인했습니다. 현재는 dbt를 이용한 데이터 변환 파이프라인을 공부하고 있고, ELT 방식이 실무에서 점점 더 채택되는 이유를 이해하며 따라가고 있습니다.