LLM 또는 다중 모달 모델을 활용하여 서비스를 개발한 경험에 대해 말씀해 주실 수 있나요?

LLM 관련 경험은 졸업 프로젝트에서 있었습니다. 오픈소스 LLM을 파인튜닝해 도메인 특화 QA 시스템을 만드는 작업이었는데, 허깅페이스의 transformers 라이브러리와 LoRA(저랭크 적응) 기법을 써서 상대적으로 적은 GPU 자원으로 특화 모델을 만들었습니다. 가장 어려웠던 부분은 학습 데이터 품질 관리였습니다. 모델 성능이 기대만큼 나오지 않아서 원인을 파악하니 레이블 일관성이 없는 데이터가 전체의 약 15%였고, 이를 제거하자 성능이 의미있게 개선됐습니다. 운영 측면에서는 모델 응답의 할루시네이션 비율을 추적하는 평가 파이프라인을 별도로 구성했습니다. 앞으로도 LLM 프로젝트를 할 때 모델 자체보다 데이터와 평가 파이프라인에 더 많은 시간을 쓰는 방식을 유지하겠습니다.

모델 품질은 데이터 품질을 넘을 수 없습니다. 앞으로도 LLM 프로젝트를 할 때 모델 성능 지표보다 실제 사용자 시나리오에서 어떻게 동작하는지를 먼저 검증하는 방식을 유지하겠습니다. 벤치마크 점수와 실제 유용성은 다를 수 있습니다.