이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
검색 품질 개선 프로젝트에서 처음 시도한 것은 키워드 매칭에서 임베딩 기반 유사도 검색으로의 전환이었습니다. text-embedding 모델로 문서와 쿼리를 벡터화하고, 코사인 유사도 기준으로 후보를 추출하는 방식을 적용했습니다.
그런데 임베딩 검색만으로는 정확한 표현이 포함된 문서를 놓치는 경우가 생겼습니다. 이를 보완하기 위해 BM25와 임베딩 결과를 합산하는 하이브리드 검색 구조를 도입했고, 두 방식의 점수를 가중 합산해 최종 순서를 결정했습니다.
마지막으로 리랭킹 모델을 상위 결과에 적용했습니다. 후보 20개를 재정렬하는 단계를 추가하니 사용자 클릭률이 눈에 띄게 올랐습니다. 전체 검색 파이프라인을 단계별로 분리해 각 단계를 독립 평가하니 어느 구간이 병목인지 파악하기 쉬웠습니다.
검색 개선 작업에서 가장 어려웠던 것은 무엇이 더 나아졌는지 객관적으로 측정하는 방법이 없었던 것입니다. 클릭률만 보면 클릭받지 못한 좋은 결과를 놓치고, 주관적 판단은 사람마다 달랐습니다. nDCG(정규화 할인 누적 이득)와 MRR(평균 역순위) 지표를 도입해 상위 k개 결과의 관련성을 정량적으로 측정했습니다. 레이블 데이터가 부족한 상태에서는 LLM으로 합성 쿼리를 생성해 평가 데이터셋을 만드는 방법을 실험했습니다. 실제 사용자 쿼리 패턴을 분석해 유사한 형태의 쿼리를 생성하고, 기존 임베딩 검색과 하이브리드 검색 결과를 nDCG로 비교했더니 하이브리드 방식이 약 12% 높은 결과를 얻었습니다. 지표가 없을 때는 모든 변경이 논쟁이 됐는데, 지표가 생기자 논쟁 없이 방향을 결정할 수 있었습니다.
AI 기반 기능 개선은 측정 체계 없이는 방향이 없다는 것을 배웠습니다.
검색 2단계 파이프라인을 설계하면서 Cross-Encoder(교차 인코더)로 상위 후보를 재랭킹하는 구조를 구현했습니다. Bi-Encoder로 상위 20개 후보를 빠르게 뽑고, Cross-Encoder로 쿼리와 각 문서를 한 쌍씩 비교해 세밀하게 순위를 재정렬하는 방식이었습니다. Cross-Encoder는 정확도가 높은 대신 추론 시간이 Bi-Encoder보다 훨씬 길다는 트레이드오프가 있었습니다. 후보 수를 줄이면 정확도가 떨어지고, 늘리면 응답 시간이 늘어나는 균형점을 찾아야 했습니다. 실험을 통해 상위 15개 후보에서 재랭킹하는 것이 정확도와 응답 시간 모두 수용 가능한 구간이었습니다.
AI 모델을 검색 파이프라인에 넣을 때는 정확도만 보는 것이 아니라 응답 시간과의 균형을 같이 측정해야 한다는 것을 이 경험에서 배웠습니다. 사용자가 2초 이상 기다리게 하면 정확도가 높아도 이탈한다는 것을 실제 테스트에서 확인했습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 배달의민족(우아한형제들) 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.