모델 배포 및 자동화 파이프라인 구축 시 어떤 도구를 사용했는지, 그 과정에서의 어려움과 해결 방법을 알려 주세요.

졸업 프로젝트에서 도메인 특화 검색어 자동완성 모델을 설계하면서 가장 어려웠던 건 일반 모델이 도메인 전문 어휘를 잘 모른다는 점이었습니다. 사전학습 임베딩이 일상 어휘에는 강하지만 특화 쿼리에서 엉뚱한 후보를 제시하는 문제가 반복됐습니다. 도구로는 sentence-transformers와 FAISS를 조합해 의미론적 유사도 검색 파이프라인을 만들었고, 인덱스는 도메인 용어집에서 추출한 문장으로 따로 구성했습니다. 어려웠던 건 FAISS 인덱스 갱신 주기와 실시간 쿼리 응답 속도 사이의 균형이었습니다. 증분 갱신 방식으로 전환하면서 이 문제는 어느 정도 해결됐지만, 배포 환경에서 메모리 사용량이 예상보다 2배 이상 높아지는 문제는 마지막까지 남았습니다. 팀원 한 명이 경량 모델로 교체해서 메모리를 절반 수준으로 줄인 것이 기억에 남습니다.

임베딩 기반 검색은 품질보다 운영 비용을 먼저 설계해야 한다는 걸 그 경험에서 배웠습니다.