구체적 문제 정의·프롬프트 반복 개선·결과 수치 확인 중심으로 푸는 결
학부 졸업 프로젝트에서 GPT-4o API를 써서 식품 리뷰 텍스트를 자동 분류하는 파이프라인을 만들었습니다. 초기에는 단순히 "다음 리뷰를 긍정·부정·중립으로 분류해줘"라는 프롬프트를 썼는데, 분류 정확도가 74% 수준에서 정체됐습니다. 특히 "가격 대비 괜찮아요"처럼 맥락에 따라 긍정으로도 부정으로도 읽히는 문장이 자꾸 틀렸습니다. 문제를 좁혀보니 기준 없이 분류를 요청하면 모델이 임의적으로 판단한다는 걸 알았습니다. 프롬프트를 수정해서 "긍정은 재구매 의향이 느껴지거나 기대 이상이라는 표현이 있는 경우"처럼 분류 기준을 명시적으로 설명하고, 경계 케이스를 예시로 3개씩 넣었습니다. Few-shot 구조를 적용한 뒤 정확도가 74%에서 88%로 올랐습니다. 팀원이 따로 레이블링한 100건 테스트셋으로 확인한 수치였습니다. 이 경험에서 프롬프트는 작동하면 끝이 아니라 실패 케이스를 분석해 기준을 명확히 만드는 과정이라는 걸 배웠습니다.