목표·기대효과(주 4h→30분) → 역할(ETL·권한) → 문제 해결(ID 체계 3단계 매칭) → 학습(룰 합의가 진짜 일)
제가 참여했던 프로젝트는 사내 운영 데이터 통합 대시보드 구축이었습니다. 본 회사 인턴 4개월간 참여했고, 흩어져 있던 운영 데이터 8개 소스를 한 화면에서 보게 만드는 것이 목표였습니다.
기대 효과는 '리포트 작성 시간을 주 4시간에서 30분으로 줄인다'였습니다. 운영팀이 매주 엑셀로 8시간씩 모으던 작업이 한 화면 새로고침으로 닫히는 결이었습니다.
제 역할은 백엔드 데이터 파이프라인과 권한 모델 설계 보조였습니다. 4명 팀 중 ETL을 맡았고, 사내 PostgreSQL 4개·구글 시트 3개·Slack API 1개 소스를 일 단위로 정합성 점검 후 dbt 모델로 묶었습니다.
해결한 문제는 소스마다 다른 사용자 ID 체계였습니다. 한 사용자가 4개 시스템에서 다른 ID로 등록돼 있어 동일 인물 식별이 깨졌는데, 이메일 도메인+이름 첫 2글자 매칭+수동 보정 큐의 3단계로 96% 자동 매칭을 만들었고, 나머지 4%는 운영팀이 주 1회 30분 큐로 정리하도록 흐름을 잡았습니다.
배운 점은 '데이터 통합 프로젝트의 진짜 일은 SQL이 아니라 정합성 룰 합의'라는 점이었습니다. 도메인 담당자 6명과 마스터 데이터 정의를 한 줄씩 합의해가는 시간이 결과를 가장 크게 갈랐습니다.