이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
대학원 연구실에서 배포한 분류 모델의 정확도가 2주 뒤부터 떨어지기 시작하는 현상을 경험했습니다. 처음엔 학습 자체의 문제라고 생각했는데, 학습 데이터를 다시 살펴보니 입력 데이터의 특정 피처 분포가 초기 학습 때와 달라진 것을 발견했습니다. 계절적 요인으로 입력 패턴이 바뀐 상황이었습니다. 저는 주요 피처 10개의 평균과 분산을 주 단위로 추적하는 간단한 모니터링 스크립트를 만들었습니다. 이후 한 달 뒤 같은 변화가 다시 생겼을 때 하루 안에 이상을 감지할 수 있었습니다. 다만 모니터링 임계값을 고정으로 잡았더니 정상 변동에서도 경고가 너무 자주 떴습니다. 적정 임계값을 찾는 데 몇 주가 더 걸렸고, 그 과정에서 모니터링 자체도 조율이 필요하다는 걸 배웠습니다. 지금도 모델을 배포하면 피처 분포 추적을 먼저 챙기는 편입니다.
개인 프로젝트에서 일정 기간 잘 동작하던 감정 분류 모델의 정확도가 갑자기 낮아지는 문제를 경험했습니다. 입력 데이터 분포를 먼저 확인했는데 큰 차이가 없었습니다. 다음으로 모델 출력을 샘플링해 직접 눈으로 확인했습니다. 특정 카테고리에서 예측이 유독 틀리는 패턴이 보였습니다. 그 카테고리의 학습 데이터를 꺼내보니 크롤링 과정에서 레이블이 잘못 달린 케이스가 섞인 것을 발견했습니다. 데이터를 수집하는 스크립트가 업데이트되면서 분류 기준이 일부 바뀐 것이 원인이었습니다. 해당 케이스를 걸러내고 다시 학습했더니 성능이 회복됐습니다. 그 이후로 데이터를 수집하는 스크립트가 바뀔 때마다 레이블 샘플을 100건 이상 직접 확인하는 단계를 추가했습니다. 성능이 떨어지면 모델 먼저 보기 전에 데이터를 먼저 보는 습관이 생겼습니다.
졸업 프로젝트에서 이전 달 데이터로 학습한 모델이 이번 달 데이터에서 성능이 낮아지는 패턴을 발견했습니다. 학습 데이터가 시간이 지날수록 현재 분포와 멀어지는 문제였습니다. 처음엔 그냥 최신 데이터만으로 전체 재학습을 해봤는데, 이전 패턴을 잊어버리는 현상이 생겨서 오히려 이전 케이스에서 성능이 나빠졌습니다. 이후 오래된 데이터와 최신 데이터를 비율을 달리해 섞는 방식을 실험했습니다. 최신 데이터 비중을 70%로 잡았을 때 두 기간 모두 성능이 가장 안정적이었습니다. 다만 이 비율이 다른 데이터셋에서는 다를 수 있다는 것을 나중에 다른 팀원이 지적해줬고, 재학습 전략도 데이터 특성에 따라 달라진다는 걸 배웠습니다. 고정 전략을 믿기보다 실험으로 확인하는 습관이 중요하다는 걸 이 경험에서 얻었습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 토스 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.