검색 품질 문제 원인분석 후 임베딩 모델·데이터 적합성 검증 결
자연어 처리 기술을 활용한 검색 품질 향상 경험은 졸업 프로젝트에서 키워드 검색 한계를 개선하는 시도에서 나왔습니다. 기존 시스템이 정확한 단어가 포함된 문서만 반환하는 방식이어서, 비슷한 의미의 다른 표현으로 검색하면 결과가 없었습니다. TF-IDF와 문장 임베딩을 결합하는 방법으로 의미 기반 검색을 추가했는데, 처음엔 임베딩 모델 선택에 따라 결과가 크게 달라지는 문제가 있었습니다. 한국어 특화 모델을 사용하니 정확도가 눈에 띄게 올랐습니다. 기술을 쓰는 것보다 어떤 모델이 어떤 데이터에 맞는지를 파악하는 것이 더 중요하다는 걸 느꼈습니다.
어떤 모델이 이 데이터에 맞는지를 파악하는 것이 기법 선택보다 먼저입니다.