AI 제품 실험 설계·주도 경험
약 65초
가설 먼저 + 사람 평가 메트릭 병행 + A/B 동일 입력 비교 + 원인 파악 후 반복 경험
졸업 프로젝트에서 LLM 기반 기능의 응답 품질을 개선하는 실험을 처음으로 설계해봤습니다. 가설 측면에서는 '프롬프트에 예시를 추가하면 응답의 구체성이 높아질 것'이라는 가설을 먼저 세우고 실험 범위를 좁혔습니다. 메트릭 측면에서는 사람이 직접 평가하는 5점 척도와 자동 지표를 함께 쓰는 방식을 설계했는데, 자동 지표만으로는 체감 품질 변화를 잡지 못하는 걸 경험했습니다. A/B 측면에서는 동일한 입력 세트를 두 버전의 프롬프트에 각각 적용해서 결과를 비교하는 방식을 썼습니다. 반복 측면에서는 첫 실험에서 개선 방향이 확인되면 바로 다음 가설로 넘어가는 것보다 원인을 먼저 파악하는 것이 중요하다는 걸 배웠습니다. 실험 설계에서 어려운 건 실험 조건을 동일하게 통제하는 것이라는 걸 경험했습니다.
AI 실험은 결과보다 어떤 가설을 검증하고 있는지가 명확해야 의미가 있다는 걸 그때 배웠습니다.
이 결의 특징
프롬프트 예시 추가라는 가설을 세우고 사람 평가와 자동 지표를 함께 쓴 뒤, 개선이 확인돼도 원인부터 파악하고 다음 가설로 넘어간 흔적이 있습니다. 실험 조건 통제가 가장 어려웠다는 솔직한 관찰이 담겨 있습니다.
이 결이 통하는 자리
자동 지표만으로 체감 품질을 못 잡았다는 구체 한계가 살아 있을 때 통합니다. 결과보다 어떤 가설을 검증하는지가 명확해야 한다는 문장이 실험 순서와 함께 드러날 때 면접관이 설계력을 읽는 결이 보입니다.