면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
학교 프로젝트에서 텍스트 분류 모델 성능 개선을 위해 데이터 파이프라인을 처음 설계하였습니다. 원시 데이터를 수집하고 중복 제거, 노이즈 필터링, 레이블 검증 순으로 처리하였는데, 레이블 오류가 생각보다 많아서 검수 단계를 추가하였습니다. 그 작업이 모델 정확도에 가장 크게 기여하였고, 데이터 품질이 알고리즘보다 먼저라는 것을 몸으로 배웠습니다.
모델 튜닝보다 데이터 정제에 더 많은 시간을 써야 한다는 교훈이었습니다. 입력 데이터가 바뀌면 모든 것이 바뀐다는 경험이 파이프라인 설계에 진지하게 접근하게 만들었습니다. 파이프라인 설계가 먼저 탄탄해야 모델 실험의 결과가 의미 있어지는 것입니다.
파이프라인을 짤 때 재현 가능성을 가장 중요하게 생각했어요. 같은 입력으로 항상 같은 결과가 나와야 실험 비교가 의미 있거든요. DVC나 버전 관리 도구를 사용해 데이터 스냅샷을 남겼고, 전처리 단계마다 로그를 남겨 어디서 이상치가 들어오는지 추적했어요.
파이프라인 자체를 코드로 관리하는 습관이 나중에 협업할 때 정말 도움이 됐습니다. 실험 로그와 데이터 버전 관리가 없으면 어느 시점의 변화가 성능에 영향을 줬는지 알 수 없어요. 재현 가능한 파이프라인이 팀 협업에서도 신뢰를 만드는 기반이 됩니다. 실험 조건이 명확히 기록된 파이프라인이 팀 전체의 생산성을 높입니다.
성능이 정체될 때 먼저 데이터 분포를 들여다봤어요. 클래스 불균형이 있으면 모델이 다수 클래스 쪽으로 편향되거든요. 오버샘플링과 가중치 조정을 동시에 실험하면서 어느 방향이 이 데이터에 잘 맞는지 비교했어요. 결과적으로 데이터 파이프라인을 바꾸는 게 하이퍼파라미터 튜닝보다 효과가 컸어요. 그 이후로 모델 실험 전에 데이터 분석을 먼저 하는 습관이 생겼습니다.
데이터 먼저, 모델 나중이라는 원칙이 이후 모든 프로젝트에서 저의 기준이 됐습니다. 분포 분석 없이 모델 실험을 먼저 시작하면 원인을 알 수 없는 성능 저하를 겪게 된다는 걸 그때 배웠어요. 데이터 분포 확인 없는 모델 실험은 결국 시간 낭비로 끝나는 경우가 많았어요.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.