이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
데이터 품질 관리 인턴에서 완결성, 정확성, 일관성, 적시성 네 가지 기준으로 파이프라인 데이터를 점검했습니다. Great Expectations 라이브러리로 기대값 규칙을 코드로 정의하고, 파이프라인 실행마다 자동 검증이 돌도록 설정했습니다. 초기엔 결측값 비율 임계치만 설정했는데, 실제 이슈는 타입 불일치와 이상 범위 값에서 더 많이 나왔습니다. 이후 컬럼 타입 체크와 통계 범위 이탈 감지를 추가해 탐지율을 높였습니다. 이 경험에서 데이터 품질 기준은 한 번에 완성되지 않고 이슈를 보면서 점진적으로 보완된다는 걸 배웠습니다.
데이터 품질 기준은 한 번에 완성되지 않고 이슈를 보면서 점진적으로 보완되며, 처음 설계보다 운영 과정의 피드백이 더 중요한 역할을 합니다.
데이터 품질 관리를 시작할 때 가장 먼저 한 것은 품질이 좋다는 것을 어떻게 측정할지를 정의하는 것이었습니다. 막연히 데이터가 깨끗해야 한다는 기준으로는 작업이 끝났는지를 알 수 없기 때문에, 완전성(Completeness), 정확성(Accuracy), 일관성(Consistency), 적시성(Timeliness) 4가지 차원으로 품질 지표를 구체화했습니다.
데이터 품질 차원(Data Quality Dimensions)이 단일 척도가 아니라 다차원 기준으로 데이터를 평가하는 방식이고, 각 차원별로 임계값을 정해두면 자동화된 품질 모니터링이 가능해집니다. NULL 비율이 5% 이상이면 완전성 위반으로 분류하고, 기준 테이블과 불일치하는 행을 일관성 오류로 태깅하는 방식으로 운영했습니다. 지표가 없으면 관리가 아니라 점검이 되고, 점검은 반복되기 어렵습니다.
품질을 관리하려면 먼저 품질을 숫자로 정의하는 것이 시작입니다. 품질 지표 정의와 임계값 설정이 데이터 품질 관리의 출발점이었습니다.
데이터 품질 문제를 수동으로 점검하는 방식의 한계는 점검 주기마다 오류가 쌓인다는 것입니다. 파이프라인이 복잡해질수록 어느 단계에서 문제가 생겼는지를 추적하기 어려워지고, 자동화된 검증 단계를 파이프라인 각 구간에 삽입하는 방식이 더 안정적입니다. 파이프라인 내 검증(In-Pipeline Validation)이 데이터가 다음 단계로 넘어가기 전에 품질 조건을 자동으로 확인하고, 조건을 통과하지 못하면 파이프라인을 멈추거나 알림을 보내는 방식입니다.
Great Expectations 같은 도구를 써서 컬럼별 기대값 범위를 정의하고, 파이프라인 실행마다 자동으로 검증 리포트가 생성되도록 구성했습니다. 이 방식으로 오류를 발견하는 시점이 downstream 팀이 문제를 제보하기 전으로 앞당겨졌습니다.
좋은 데이터 품질 관리는 문제를 발견하는 것이 아니라 문제가 전파되기 전에 막는 것입니다. 파이프라인 자동화 검증이 데이터 품질 관리의 핵심 방법론이었습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넛지헬스케어 데이터 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.