예시 답변 1
약 71초
구체 구현 경험 + 도구 선택 이유 + 이상치 대응 자동화 중심으로 푸는 결
사이드 프로젝트에서 외부 API로 수집하는 데이터의 품질이 예고 없이 달라지는 문제를 겪었습니다. 처음에는 데이터가 조용히 망가지는 걸 모르고 집계 결과를 믿다가 나중에 오류를 발견한 경험이 있습니다. 이후 Great Expectations를 도입해 컬럼 타입, null 비율, 값 범위를 사전에 정의하고, 파이프라인 실행 시마다 자동으로 검증이 돌아가는 구조를 만들었습니다. 기대 조건을 넘으면 슬랙 알림이 오고, 해당 배치는 저장을 멈추도록 설계했습니다. 덕분에 잘못된 데이터가 DB에 들어오는 빈도가 크게 줄었습니다. 데이터 품질 검사는 파이프라인 끝이 아니라 데이터가 들어오는 시점에 걸어야 한다는 걸 그 경험에서 배웠습니다.
이 결의 특징
오류을 겪은 상황에서 도입한 Great Expectations 도입 경험이 드러납니다.
이 결이 통하는 자리
기술 선택의 근거, 개선 결과이 명확할 때 신뢰가 쌓이는 결이 보입니다.