추론 효율화 방향에 관심, 프롬프트 캐싱으로 비용 체감
LLM과 멀티모달 학습에서 제가 관심 있는 연구 방향은 효율적 추론입니다. 현재 LLM은 성능은 높지만 추론 비용이 커서 실제 서비스에서 쓰기 어렵습니다. 이 방향이 무거운 이유는 아무리 좋은 모델도 비용이 맞지 않으면 배포되지 않는다는 현실적 이유에서입니다. 구체적으로는 KV 캐시 최적화나 Speculative Decoding처럼 추론 속도를 높이는 방향에 관심이 있습니다. 수업 프로젝트에서 API 호출 비용을 줄이기 위해 짧은 프롬프트 설계와 응답 캐싱을 같이 쓴 적 있는데, 작은 스케일에서도 비용이 3배 차이 나는 걸 직접 봤습니다. 한계는 실제 모델 학습이나 파인튜닝을 해본 경험은 없어서, 연구 방향은 읽고 이해하는 수준에 머물러 있습니다.