예시 답변 1
약 90초
MLflow + Kubernetes 기반 LLMOps 구축
LLMOps 플랫폼을 MLflow + Kubernetes + Prometheus/Grafana 조합으로 구축한 경험이 있습니다. 실험 추적 → 모델 레지스트리 → 자동 배포 → 모니터링을 하나의 파이프라인으로 연결하는 것이 목표였습니다. MLflow로 프롬프트 버전과 모델 파라미터를 추적하고, Kubernetes Operator로 새 모델 등록 시 자동 배포가 트리거되도록 구성했습니다. 운영 중 가장 어려웠던 부분은 LLM의 품질 저하를 자동으로 감지하는 것이었고, 주요 응답 지표를 샘플링해 품질 점수를 계산하는 자동 회귀 테스트 파이프라인을 추가했습니다. 프로젝트에서 저는 파이프라인 설계와 모니터링 시스템 구축을 주도했습니다. 결과적으로 모델 배포 주기가 주 1회에서 일 단위로 단축됐습니다.
이 결의 특징
실험 추적→레지스트리→자동 배포→모니터링을 하나의 파이프라인으로 잇겠다는 목표가 또렷하고, MLflow로 프롬프트 버전까지 추적한 점이 구체적입니다. LLM 품질 저하를 자동 감지하려 응답 지표 샘플링 기반 회귀 테스트를 더한 대목이, 배포 주기 주 1회→일 단위를 구조의 결과로 읽히게 하는 결이 보입니다.
이 결이 통하는 자리
파이프라인 설계와 모니터링을 본인이 주도했다는 역할이 살아 있을 때 통합합니다. LLM 품질 저하 자동 감지라는 가장 어려운 부분을 어떻게 풀었는지가 또렷한 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.