예시 답변 1
약 84초
필요성 결 → 아키텍처 결 → 구현 결 → 교훈 결
LLM 기반 서비스 아키텍처를 설계한 경험은 개인 프로젝트에서 RAG 구조를 활용한 문서 질의응답 서비스를 구현하면서 왔습니다. 필요성 자리에서는 일반 LLM의 답변이 도메인 문서에 없는 내용을 생성하는 환각 문제를 줄이고 싶었습니다. 아키텍처 자리에서는 사용자 질문 → 벡터 DB에서 유사 문서 검색 → 검색 결과를 컨텍스트로 주입 → LLM 답변 생성 순의 RAG 파이프라인을 설계했습니다. 구현 자리에서는 임베딩 모델과 LLM 모델 선택이 비용과 성능 사이의 트레이드오프였습니다.
오픈소스 임베딩 모델과 API 기반 LLM을 조합하는 방식이 비용 효율 면에서 최선이었습니다. 교훈 자리에서는 청크 크기와 검색 개수가 답변 품질에 크게 영향을 준다는 걸 실험을 통해 배웠습니다. 아키텍처를 설계하고 나서도 하이퍼파라미터 튜닝이 상당한 비중을 차지합니다.
이 결의 특징
RAG 파이프라인에서 청크 크기와 검색 개수가 답변 품질에 크게 영향을 준다는 결이 실험으로 도출됐다. 오픈소스 임베딩과 API LLM을 조합하는 비용 트레이드오프 판단이 나온다.
이 결이 통하는 자리
LLM 서비스 아키텍처 경험을 묻는 자리에서 이 결이 통한다. 구현 자랑보다 하이퍼파라미터 튜닝이 상당한 비중을 차지한다는 솔직한 관찰이 신뢰 인상을 만드는 자리다.