A
약 90초
GCP 활용 경험 구체화→맡은 역할 설명→결과 도출→배운 점 순 전개
사이드 프로젝트에서 Google Cloud Storage와 BigQuery를 연동한 데이터 파이프라인을 구축한 경험이 있습니다. 공공 데이터를 GCS에 적재하고 BigQuery에서 쿼리해 시각화하는 구조였고, 저는 파이프라인 설계와 BigQuery 쿼리 최적화를 맡았습니다. 처음에는 쿼리 비용이 예상보다 많이 나와서, 파티션 테이블 구조로 변경하고 자주 쓰는 집계는 뷰로 미리 정의하는 방식으로 바꿨습니다. 이후 동일한 분석에 필요한 스캔 데이터 양이 크게 줄었습니다. 결과적으로 매일 자동으로 최신 데이터가 반영되는 대시보드를 만들었고, 수동 집계에 드는 시간을 없앤 게 실질적인 성과였습니다. 이 과정에서 배운 건 클라우드 비용이 설계 선택에 따라 크게 달라진다는 점이었습니다. 기능 구현보다 비용 효율적인 구조를 처음부터 고민해야 한다는 걸 직접 느꼈습니다. 다음에는 Cloud Functions로 파이프라인 트리거를 자동화하는 방향을 시도해보고 싶고, 그 부분을 현재 학습 중입니다.