LLM 프로젝트를 관리하면서 고객의 요구 사항을 이해하기 위해 어떤 접근 방식을 사용하나요?

LLM 프로젝트에서 고객의 요구사항을 이해하기 위한 접근은 고객이 원하는 결과물을 직접 보여 달라고 요청하거나, 좋은 예시와 나쁜 예시를 함께 수집하는 것에서 시작합니다. LLM 프로젝트에서 고객은 종종 원하는 것을 언어로 정확하게 표현하기 어려워하기 때문입니다.

예시 수집으로 고객에게 '이런 출력이 나오면 좋겠다'는 예시를 3~5개 받으면, 추상적인 요구보다 훨씬 명확한 기준이 만들어집니다. 실패 케이스 파악으로 어떤 출력이 나왔을 때 사용하지 않겠다는 조건을 수집해 평가 기준의 경계를 명확히 합니다. 고객의 요구사항은 프로젝트가 진행되면서 바뀌는 경우가 많아, 초기에 완벽한 스펙을 만들려 하기보다 빠른 프로토타입으로 방향을 맞추는 것이 효율적입니다.

LLM 출력은 비결정적이어서, 어떤 기준으로 품질을 평가할지를 정량화하는 것이 프로젝트 진행의 공통 언어가 됩니다. 예시 수집과 실패 케이스 파악이 LLM 프로젝트 요구사항 이해의 핵심이라는 결론을 갖고 있습니다.