이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
대학원 연구실에서 특정 도메인 텍스트 분류 성능을 높이기 위해 사전학습 모델을 파인튜닝하는 실험을 맡았습니다. 처음엔 데이터만 넣으면 알아서 성능이 올라갈 줄 알았습니다. 레이블 달린 데이터 약 2,000건을 모아 파인튜닝했는데, 결과가 기대보다 많이 낮았습니다. 원인을 찾으러 데이터를 직접 살펴봤더니 레이블이 일관되지 않은 케이스가 전체의 약 12%였습니다. 같은 텍스트인데 레이블이 다르게 달린 경우도 있었습니다. 이것을 정제하는 데만 일주일이 넘게 걸렸습니다. 정제 후 재학습하니 성능이 약 8포인트 개선됐습니다. 파인튜닝에서 모델 구조보다 데이터 품질이 먼저라는 걸 몸으로 배웠습니다. 이후 레이블 작업을 할 때는 샘플 100건을 먼저 레이블링하고 일치율을 확인하는 단계를 넣는 습관이 생겼습니다.
개인 사이드 프로젝트로 짧은 한국어 질문에 대한 의도 분류 모델을 파인튜닝해봤습니다. 공개된 모델을 받아 학습을 돌렸는데, 훈련 손실은 내려가는데 검증 손실이 오히려 올라가는 상황이 반복됐습니다. 과적합이라는 건 알았는데 정확히 어떻게 고쳐야 할지 몰라서 학습률을 낮춰보고, 배치 크기를 줄여보고, 에포크를 줄여보는 시도를 번갈아 했습니다. 한 번에 너무 많이 바꿔서 어느 것이 효과가 있었는지 파악이 안 되는 실수를 했습니다. 이후 한 번에 한 변수만 바꾸면서 기록을 남기는 방식으로 바꿨습니다. 학습률을 기본값의 1/5로 낮추자 검증 손실이 안정됐고, 최종 정확도가 약 4포인트 올랐습니다. 파인튜닝이 마술이 아니라 변수를 하나씩 격리해 실험하는 과정이라는 걸 이 경험에서 배웠습니다.
캡스톤 프로젝트에서 법률 문서 요약 모델을 파인튜닝하는 작업을 팀원 2명과 함께 했습니다. 파인튜닝을 마치고 자동 평가 지표를 보니 성능이 꽤 올라 보였습니다. 그런데 실제 요약문을 직접 읽어보니 법률 용어가 일상어로 바뀌거나, 주어가 빠지는 경우가 있었습니다. 지표는 좋은데 실제 출력이 이상한 상황이었습니다. 저는 지도 교수님과 법학 전공 학우 1명에게 출력 샘플 20건을 평가해달라고 요청했습니다. 평가 결과 20건 중 6건에서 의미가 달라지는 오류가 나왔습니다. 이 문제가 학습 데이터에서 비롯된 건지, 모델 자체 한계인지를 분리하는 데 시간이 더 걸렸습니다. 결국 입력 데이터의 법률 용어 보존을 지시하는 방식을 추가해 오류 비율을 절반 가까이 줄였습니다. 수치 지표만 보고 완성됐다고 판단하지 말아야 한다는 걸, 이 경험이 가르쳐줬습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 토스 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.