면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
캡스톤 프로젝트에서 텍스트 분류 모델의 추론 속도를 최적화하는 작업을 진행했습니다. 처음엔 모델 크기를 줄이는 것만 고려했는데, 실제 병목이 전처리 단계에 있었다는 걸 프로파일링 후에야 알게 됐습니다. 텍스트 정규화 로직을 벡터화 연산으로 바꾸고 캐싱을 추가했더니 전처리 시간이 약 60% 줄었습니다.
ONNX로 변환해 추론 엔진을 교체했는데, 정확도 손실 없이 추론 속도가 약 2배 향상됐습니다. ML 제품 최적화는 모델 아키텍처보다 전체 파이프라인 프로파일링에서 시작해야 한다는 걸 배웠고, 지금도 최적화 전에 어디서 시간이 소비되는지를 먼저 측정하는 순서를 지킵니다.
ML 제품 최적화에서 정확도와 속도 사이의 트레이드오프를 직접 다뤄야 했던 경험이 있습니다. 추론 속도를 높이기 위해 모델 크기를 줄이는 방식을 시도했는데, 작은 모델이 속도는 빨라졌지만 특정 케이스에서 정확도가 눈에 띄게 낮아졌습니다. 전체 정확도 수치만 보면 큰 차이가 없는 것처럼 보였는데, 실제 서비스에서 자주 나오는 케이스를 중심으로 분석하니 허용하기 어려운 수준의 차이가 있었습니다. 전체 평균 지표 대신 서비스에서 중요한 케이스를 별도로 측정하는 방식으로 평가 기준을 바꾸니 어느 최적화 방향이 실제로 의미 있는지 판단하기 쉬워졌습니다. ML 제품 최적화는 속도나 정확도 중 하나만 보는 것이 아니라 서비스 관점에서 어느 지표가 더 중요한지를 먼저 정의하고 나서 방향을 정하는 것이 중요하다는 것을 이 경험에서 배웠습니다.
ML 제품을 최적화할 때 배치 처리와 실시간 처리의 최적화 방향이 다르다는 것을 경험했습니다. 배치 추론에서는 처리량을 높이는 것이 목표였기 때문에 가능한 한 큰 배치 크기로 묶어 처리하는 방식이 효과적이었습니다. 실시간 추론에서는 개별 요청의 지연 시간이 중요했기 때문에 배치 크기를 늘리는 것이 오히려 응답 시간을 늘리는 문제가 됐습니다. 같은 모델을 쓰더라도 사용 시나리오에 따라 최적화 방향이 달라진다는 것을 이 경험에서 배웠습니다. 실시간 서빙에서는 모델을 가능한 한 작게 유지하고 전처리 로직을 단순화하는 방향이 유효했고, 배치 처리에서는 GPU 활용률을 높이는 방향이 더 큰 개선을 가져왔습니다. ML 제품 최적화는 어떤 상황에서 어떤 요구사항을 충족해야 하는지를 먼저 파악하고 나서 방법을 선택해야 한다는 것을 이 경험에서 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.