ColBERT 논문 분석 — Late Interaction 검색
최근 ColBERT 논문을 읽고 Late Interaction 아키텍처의 실용성에 깊은 인상을 받았습니다. 기존 Bi-encoder는 쿼리와 문서를 단일 벡터로 압축해 세밀한 단어 수준 매칭 신호가 손실되는 문제가 있었습니다. ColBERT는 토큰 단위 임베딩을 보존하고 MaxSim 연산으로 최대 유사도를 계산하는 방식으로 이 문제를 해결합니다.
응용 가능성으로는 기술 문서 검색처럼 전문 용어의 정확한 매칭이 중요한 도메인에 특히 적합하다고 생각합니다. 개인적인 의견으로는 인덱스 크기가 Bi-encoder 대비 수십 배 증가한다는 점이 프로덕션 적용의 현실적인 허들이라고 봅니다. PLAID 인덱싱 최적화로 이 문제를 일부 해소했지만, 레이턴시·저장 비용 트레이드오프는 여전히 도메인 특성에 따라 신중히 판단해야 한다고 생각합니다.