예시 답변 1
약 104초
S3·Glue·Athena 파이프라인·Lambda 전환·질문 먼저 설계 원칙 중심으로 푸는 결
클라우드 데이터 인프라를 직접 설계해본 건 학부 졸업 프로젝트에서입니다. AWS를 기반으로 정형 데이터와 반정형 로그 데이터를 함께 처리하는 파이프라인을 구성했습니다. 수집 단계에서는 S3에 로그를 쌓고, `AWS Glue`로 스키마를 자동 감지해 `Athena`에서 SQL로 조회할 수 있는 구조를 만들었습니다. 처음에는 EC2 위에 직접 Python 스크립트를 돌렸는데, 서버 관리 부담과 스케줄링 불안정이 문제였고, Lambda + EventBridge로 전환하면서 많이 줄었습니다. 이 경험에서 배운 건 "데이터가 어디에 쌓이고 어떻게 조회되는가"를 먼저 정해야 나머지 설계가 따라온다는 것이었습니다. 도구를 먼저 고르면 구조가 도구에 끌려가는데, 질문을 먼저 정하면 선택이 자연스러워졌습니다.
결과적으로 팀원이 별도 설정 없이 `Athena` 쿼리만으로 분석을 돌릴 수 있는 환경이 만들어졌고, 지금은 BigQuery나 Redshift 같은 도구들도 비교하면서 각 환경의 트레이드오프를 이해하는 데 관심이 생겼습니다.