면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
인턴 때 ML 서빙 파이프라인의 모니터링을 담당했습니다. 신뢰성 확보를 위해 헬스체크 엔드포인트를 각 모델 서버에 붙이고, Grafana 대시보드에서 레이턴시와 오류율을 실시간으로 추적했습니다. 모델 입력값이 학습 분포와 크게 달라질 때 Slack 알림이 오도록 데이터 드리프트 감지 임계값을 설정했고, 이상이 탐지되면 자동으로 이전 버전으로 롤백되는 스크립트도 작성했습니다. 보안 측면에서는 API 게이트웨이에서 인증 토큰 검증을 적용해 외부 호출을 제한했고, 내부 서비스 간 통신은 VPC 내부로만 허용했습니다. 절차를 문서화해 팀 내 온보딩 자료로 남겼고, 이후 두 달 동안 예기치 않은 다운타임 0건을 유지했습니다.
AI 인프라에서 신뢰성을 확보하는 데 가장 효과적이었던 절차는 전체 트래픽에 한 번에 새 모델을 배포하지 않는 것이었습니다. 카나리 릴리스 방식으로 트래픽의 5%에만 먼저 새 버전을 노출하고, 기존 버전과 새 버전의 레이턴시·오류율·예측 분포를 동시에 모니터링했습니다. 일정 시간 동안 지표가 안정적이면 비율을 단계적으로 올리고, 이상이 감지되면 즉시 전체 트래픽을 기존 버전으로 되돌렸습니다.
모델 교체는 단번에 하는 것보다 관찰하면서 올리는 것이 안전합니다. 이 방식이 없었을 때는 새 모델이 특정 엣지 케이스에서 실패해도 전체 사용자가 영향을 받았는데, 카나리 적용 이후에는 소수 샘플에서 문제를 먼저 잡을 수 있는 구조가 만들어졌습니다. 절차의 복잡도보다 작은 단위로 검증하는 습관이 신뢰성을 실질적으로 높입니다.
AI 인프라에서 위험 요소를 사후에 탐지하는 것보다 파이프라인 앞단에서 입력 데이터를 검증하는 것이 더 효과적이었습니다. 모델은 비정상 입력에 오류 대신 틀린 예측을 조용히 반환하는 경우가 있어서, 출력만 모니터링하면 문제를 늦게 발견합니다. 입력 스키마 체크, 값 범위 검증, 결측 필드 탐지를 모델 호출 전에 미들웨어 레이어로 분리했습니다.
비정상 입력이 감지되면 모델에 전달하지 않고 로그에 기록한 뒤 폴백 응답을 반환했습니다. 문제가 발생하는 위치보다 한 단계 앞에서 막는 것이 전체 시스템 안정성을 높이는 방식입니다. 이 구조를 적용한 이후 모델 자체의 오류율은 변하지 않았지만, 사용자에게 노출되는 비정상 응답 비율이 줄었습니다. 위험 식별은 모니터링보다 흐름에서 취약한 진입점을 먼저 찾는 것부터 시작합니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.