면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
여러 기능을 제공하는 서비스를 설계하면서, 모든 요청에 고성능 모델을 쓰는 것은 비용 효율이 떨어진다고 판단해 요청의 복잡도에 따라 모델을 다르게 호출하는 구조를 설계했습니다. 단순 분류 작업은 경량 모델로, 복잡한 추론이 필요한 작업만 고성능 모델로 라우팅하는 방식을 적용했고, 이를 통해 전체 API 비용을 약 40퍼센트 절감할 수 있었습니다. 모든 문제에 같은 크기의 도구를 쓸 필요가 없다는 것을 그 과정에서 배웠습니다.
특정 작업을 여러 단계로 나눠 수행해야 하는 자율 에이전트를 설계한 경험이 있습니다. 사용자 요청을 받아 필요한 도구를 스스로 선택하고 결과를 검증한 뒤 다음 단계로 넘어가는 구조를 만들었는데, 초기에는 에이전트가 불필요한 반복 호출을 하는 문제가 있었습니다. 최대 반복 횟수를 제한하고 중간 결과를 검증하는 단계를 추가해 안정성을 높였습니다. 자율성과 통제 사이의 균형을 맞추는 것이 핵심 과제였습니다.
대량의 원시 데이터를 LLM으로 분석하는 파이프라인을 설계할 때, 데이터를 배치로 나누고 병렬로 처리한 뒤 결과를 취합하는 구조로 설계했습니다. 순차 처리 방식으로는 전체 처리 시간이 너무 길어져 실용성이 떨어졌기 때문입니다. 병렬 처리로 전환한 후 처리 시간을 기존 대비 약 5분의 1로 줄일 수 있었고, 처리 중 오류가 발생한 배치만 재시도하는 로직을 추가해 안정성도 함께 확보했습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.