AI 기반 데이터 인프라를 구축할 때, 자연어 쿼리와 자동 이상 탐지를 어떻게 통합할 수 있을까요?

두 기능을 통합할 때 가장 먼저 부딪히는 문제는 "어떤 데이터를 대상으로 하는가"의 범위가 서로 달라지는 것입니다. 자연어 쿼리는 사용자가 접근 가능한 테이블만 보고, 이상 탐지는 파이프라인 전체 흐름을 봐야 하는데, 두 기능이 메타데이터를 따로 관리하면 같은 수치를 다르게 해석하는 상황이 생깁니다. 데이터 카탈로그 과제에서 이 문제를 간접적으로 경험했습니다. 테이블 설명과 컬럼 의미를 카탈로그에 통합했더니 자연어 쿼리가 잘못된 컬럼을 선택하는 빈도가 줄었습니다. 이상 탐지 쪽도 같은 카탈로그에서 스키마 변경 이벤트를 받아 모니터링 범위를 자동 갱신하는 구조를 설계해봤습니다. 핵심은 두 기능이 공통 메타데이터 레이어를 단일 출처로 참조하게 하는 것이고, 거버넌스 규칙 — 누가 어떤 데이터를 볼 수 있는지 — 도 같은 레이어에서 관리하면 자연어 쿼리 결과와 이상 탐지 알림이 서로 다른 컨텍스트를 가리키는 충돌을 줄일 수 있습니다. 데이터 인프라 구축에서 두 기능을 묶는 보이지 않는 연결고리는 메타데이터 일관성이라는 걸 그 과제에서 확인했습니다.