이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
프로젝트에서 LLM 기반 기능을 만들면서 프롬프트 엔지니어링을 처음 체계적으로 접근해봤습니다. 처음엔 원하는 출력을 얻으려고 프롬프트를 직관적으로 수정했는데, 어떤 변경이 어떤 효과를 냈는지 기록하지 않아서 개선 방향을 잃는 경우가 있었습니다. 이후 프롬프트 변경 시 버전 관리를 하고 각 버전의 출력 샘플을 기록해두는 방식으로 바꿨습니다. 역할·맥락·출력 형식을 구분해서 명시하고, 예시를 포함하는 Few-shot 방식을 쓰면 원하는 형태의 출력이 훨씬 안정적으로 나왔습니다.
프롬프트 엔지니어링은 결국 모델에게 충분한 맥락을 주는 설계였는데, 사람에게 일을 시킬 때처럼 배경·목적·제약 조건을 명확히 전달하는 것이 핵심이었습니다. 지금도 새 프롬프트를 만들 때 평가 기준을 먼저 정의하는 방향을 따릅니다.
프롬프트 엔지니어링을 처음 시작할 때는 출력이 마음에 들 때까지 프롬프트를 바꾸는 방식으로 했습니다. 당장 원하는 결과는 나왔는데, 모델 버전이 바뀌자 같은 프롬프트에서 출력 형식이 달라지는 문제가 생겼습니다. 한 번 잘 된 프롬프트가 영원히 통하지 않는다는 걸 뒤늦게 알았습니다.
그때부터 프롬프트를 평가하는 테스트 케이스 10개를 먼저 정해두고, 프롬프트를 바꿀 때마다 통과율을 기록하기 시작했습니다. 직관 대신 출력 변화를 수치로 추적하는 방식으로 바꾸니, 어떤 변경이 출력을 안정시키는지 파악하기 쉬워졌습니다. 결국 프롬프트 품질은 작성자의 감각이 아니라 평가 데이터로 판단해야 한다는 걸 배웠습니다.
이 경험으로 프롬프트 엔지니어링은 직관보다 평가 세트를 먼저 만드는 것이 기준이 됐습니다.
프롬프트 엔지니어링에서 출력이 불안정한 가장 흔한 이유를 찾다 보니, 모델에게 중간 단계를 생략하고 바로 답을 내도록 유도하는 프롬프트가 문제인 경우가 많았습니다. 복잡한 분류 작업에서 오류율이 높았는데, "단계별로 생각하고 답하세요"를 추가한 것만으로 정확도가 눈에 띄게 올랐습니다.
이후 다단계 추론이 필요한 작업에는 CoT(사고 연쇄) 구조를 기본으로 넣는 방식을 표준으로 삼았습니다. 팀 내 다른 프롬프트 작업에도 CoT 템플릿을 공유했더니, 같은 실수가 반복되는 횟수가 줄었습니다.
이 경험으로 프롬프트 패턴은 개인이 발견하면 팀 전체의 기준이 되어야 재발이 줄어든다는 걸 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 올거나이즈 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.