이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
인턴 때 데이터 카탈로그 구축 작업에 참여했습니다. 테이블별 오너십과 정의를 관리하기 위해 `Apache Atlas`를 기반으로 메타데이터를 수집하고 태깅하는 작업을 진행했습니다. 가장 어려웠던 건 정의가 팀마다 달랐던 컬럼들을 통일된 기준으로 정리하는 것이었고, 실무 담당자들과 1대1로 확인하면서 컨텍스트를 직접 수집했습니다. 데이터 품질 관리를 위해 `Great Expectations`로 파이프라인에 유효성 검사를 자동화하는 것도 일부 담당했습니다. 거버넌스에서 중요한 건 도구보다 사람들이 규칙을 지키도록 만드는 구조라는 걸 그때 배웠습니다. 아무리 좋은 도구도 데이터를 입력하는 사람이 쓰지 않으면 의미가 없습니다. 도구보다 사람들이 규칙을 지키게 만드는 구조가 거버넌스의 진짜 핵심입니다.
데이터 거버넌스에서 어떤 테이블이 어떤 원본에서 만들어졌는지 추적하는 계보(lineage) 관리가 운영 중에 가장 자주 필요한 기능이었습니다. 인턴 프로젝트에서 dbt를 활용해 변환 로직을 SQL 파일로 코드화하고, 빌드 결과로 자동 생성되는 계보 그래프를 통해 테이블 간 의존성을 시각화했습니다. 특정 소스 테이블이 변경됐을 때 어느 다운스트림 테이블이 영향을 받는지 즉시 파악할 수 있어서 수정 범위를 빠르게 특정할 수 있었습니다.
계보가 없으면 변경 영향 범위를 직접 추적해야 하고, 그것이 거버넌스의 가장 큰 운영 비용 중 하나입니다. dbt docs 명령으로 생성되는 문서가 팀원이 테이블 정의를 확인하는 단일 출처로 활용됐고, 구두 설명이나 별도 문서 없이 코드와 문서가 함께 유지되는 구조를 만들 수 있었습니다.
데이터 거버넌스에서 중앙 팀이 모든 데이터를 관리하는 방식은 확장에 한계가 있습니다. 인턴 프로젝트에서 팀별로 자신이 생성하는 데이터에 대한 오너십을 부여하고, 메타데이터 입력과 품질 기준 준수를 해당 팀이 직접 책임지는 구조를 일부 적용해봤습니다. 데이터 엔지니어링 팀은 인프라와 기준을 제공하고, 각 도메인 팀이 자기 데이터를 카탈로그에 등록하고 유지하는 방식입니다. 처음에는 팀마다 기준을 다르게 해석하는 문제가 있어서, 공통 템플릿과 예시를 먼저 만들어 배포했습니다.
거버넌스는 규칙을 강제하는 것보다 각 팀이 스스로 지키게 만드는 구조가 지속 가능합니다. 협업에서 중요했던 것은 왜 이 작업이 필요한지를 설명하고 각 팀이 납득하게 하는 과정이었고, 그것이 실제 입력률을 높이는 데 가장 효과적이었습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넥스트증권 데이터 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.