비주얼 서치와 관련된 최신 Vision·멀티모달 연구 중 어떤 것을 실험해 본 경험이 있나요?

비주얼 서치 시스템을 만들 때 CLIP 임베딩을 그대로 사용했는데 패션 카테고리 특화 속성인 소재·핏·디테일에서 유사도 정확도가 낮아서 사용자가 원하는 결과가 나오지 않는 경험이 있었습니다. 범용 멀티모달 모델이 모든 도메인에서 잘 작동할 것이라 기대했는데 패션 특화 속성은 범용 모델 학습 데이터에 충분히 반영되지 않은 자리가 됐습니다. 비주얼 서치 성능 개선은 범용 모델을 그대로 쓰는 것이 아니라 도메인 특화 데이터로 파인튜닝하거나 패션 속성 특화 메타데이터를 결합해야 한다는 것을 그때 배웠습니다.

범용 Vision 모델의 우수한 성능은 도메인 특화 문제에서 보장되지 않고 도메인 특화 적응이 필요하다는 원칙이 생겼습니다. 이후에는 Vision 모델을 활용할 때 도메인 특화 속성에서 기준선 성능을 먼저 측정하고 도메인 적응 방법을 결정하는 방식을 두고 있습니다.

범용 모델이 좋은 출발점이지 완성이 아니다는 것을 배웠고, 이후에는 도메인 특화 성능 측정을 먼저 두는 방식이 기준이 됐습니다.