Prompt Engineering을 통해 얻었던 인사이트나 경험이 있다면 공유해 주세요.

LLM에게 복잡한 판단을 맡겼더니 결과가 들쭉날쭉했습니다. 처음엔 결과만 달라달라 했는데, 중간 추론 단계를 먼저 써보게 하는 방식으로 바꾸니 품질이 눈에 띄게 달라졌습니다. 졸업 프로젝트에서 CoT 방식을 처음 써봤습니다. 이슈를 분류하는 작업이었는데, "먼저 원인을 단계적으로 분석하고, 그 다음에 카테고리를 골라"라고 지시하니 분류 정확도가 확연히 높아졌습니다. 단계가 길어지면 토큰 비용이 늘어난다는 부담이 있었고, 불필요한 추론 단계를 줄이는 것이 실제로는 더 어려운 문제였습니다. 중간 추론을 보이게 하는 것이 디버깅에도 도움이 됐는데, 모델이 어느 지점에서 헷갈렸는지를 파악할 수 있었습니다. 결과만 요구하는 대신 추론 경로를 먼저 그리게 하는 것이 가장 신뢰할 만한 패턴이라고 봅니다.