A
약 120초
k-fold와 소규모 사전 검증으로 실험 비용 줄이기
알고리즘 성능 평가에서 가장 먼저 정하는 것은 지표입니다. Precision/Recall, RMSE 같은 지표는 문제 유형에 따라 다르게 쓰기 때문에, '잘못 예측했을 때 어떤 쪽이 더 비싼가'를 기준으로 고릅니다. 실험 설계 면에서는 k-fold cross validation으로 데이터 분할에 따른 분산을 줄이는 방식을 씁니다. Hold-out 한 번만 쓰면 테스트 세트 운이 결과에 섞이는 경우가 있어서, 가능하면 fold를 돌려 평균·분산을 함께 보고합니다.
비용 측면에서는 학습 시간이 긴 모델은 소규모 데이터로 먼저 검증한 뒤 풀 학습을 돌리는 방식을 씁니다. 실수한 경험에서 나온 습관인데, 한번은 전체 학습을 6시간 돌렸다가 버그를 발견한 적 있습니다. 한계는 실제 서비스 분포와 테스트 세트 분포가 어긋나는 경우를 오프라인 실험만으로는 잡기 어렵다는 점입니다.
이 결의 특징
k-fold 교차 검증으로 데이터 분할 분산을 줄이는 방식과 함께, 6시간 학습 후 버그를 발견한 경험에서 소규모 데이터로 먼저 검증한 뒤 풀 학습에 들어가는 습관을 만든 흔적이 있습니다. 잘못된 예측 중 어느 쪽 비용이 더 큰지를 기준으로 지표를 고른다는 결도 드러납니다.
이 결이 통하는 자리
실험 비용 절감과 지표 선택 논리가 모두 경험에서 나왔을 때 통합니다. 성능 평가 설계 전체를 짚는 자리에서 이론 나열이 아닌 6시간 학습 낭비 같은 구체 사례가 살아 있으면 면접관의 꼬리질문이 줄어드는 결이 보입니다.