AI 제품의 실험을 설계하고 주도한 경험이 있다면, 어떤 접근 방식으로 진행했는지 구체적으로 설명해 주세요.

졸업 프로젝트에서 LLM 기반 기능의 응답 품질을 개선하는 실험을 처음으로 설계해봤습니다. 가설 측면에서는 '프롬프트에 예시를 추가하면 응답의 구체성이 높아질 것'이라는 가설을 먼저 세우고 실험 범위를 좁혔습니다. 메트릭 측면에서는 사람이 직접 평가하는 5점 척도와 자동 지표를 함께 쓰는 방식을 설계했는데, 자동 지표만으로는 체감 품질 변화를 잡지 못하는 걸 경험했습니다. A/B 측면에서는 동일한 입력 세트를 두 버전의 프롬프트에 각각 적용해서 결과를 비교하는 방식을 썼습니다. 반복 측면에서는 첫 실험에서 개선 방향이 확인되면 바로 다음 가설로 넘어가는 것보다 원인을 먼저 파악하는 것이 중요하다는 걸 배웠습니다. 실험 설계에서 어려운 건 실험 조건을 동일하게 통제하는 것이라는 걸 경험했습니다.

AI 실험은 결과보다 어떤 가설을 검증하고 있는지가 명확해야 의미가 있다는 걸 그때 배웠습니다.