예시 답변 1
약 90초
LoRA로 도메인 특화 LLM 파인튜닝
LoRA(Low-Rank Adaptation) 방식으로 법률 QA 특화 LLM을 파인튜닝한 경험이 있습니다. 전체 파라미터를 업데이트하는 Full Fine-tuning은 GPU 메모리 한계로 실행 자체가 불가능해, 파라미터 효율적인 방법이 필요했습니다.
rank=8, alpha=32 설정으로 Attention 레이어에만 LoRA 어댑터를 삽입해 학습 가능 파라미터를 0.1%로 줄였습니다. 데이터셋은 법률 판례 질의응답 쌍 5천 건을 직접 구축했고, 문서 길이 불균형을 해소하기 위해 max_length 기준 필터링과 패딩 전략을 함께 적용했습니다.
검증 손실이 수렴할 때 Early Stopping으로 학습을 종료했고, 최종적으로 법률 용어 오류율이 베이스라인 대비 62% 감소했습니다. 이 경험으로 파인튜닝 방법 선택 기준과 데이터 품질의 중요성을 실전에서 체감했습니다.
이 결의 특징
Full Fine-tuning이 불가능한 현실적 제약에서 LoRA를 선택했다는 맥락이 먼저 등장하고, rank·alpha 설정과 Attention 레이어 적용이라는 구체적 수치가 뒤따릅니다. 법률 판례 QA 쌍 5천 건을 직접 구축하고 길이 불균형을 필터링했다는 데이터 준비 과정이 등장해, 파인튜닝 결과가 데이터 품질 투자에서 나왔다는 흔적이 남습니다. 오류율 62% 감소라는 수치가 실험 기반 결과로 연결됩니다.
면접관이 다음에 할 행동
LoRA rank 설정의 이유를 언급했을 때 면접관이 'rank를 다르게 했을 때 결과가 어떻게 달라졌는가'를 파고들 가능성이 있습니다. 실험적으로 rank를 바꿔가며 검증 손실과 추론 품질을 비교했다는 과정이 준비돼 있으면 방법론적 엄밀성이 드러나는 흐름이 나타납니다.