이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
오픈소스 LLM을 처음 학습한 것은 Hugging Face에서 모델을 직접 불러와 실행해보면서였습니다. 클라우드 API 방식과 달리 모델을 로컬에서 실행하면서 레이턴시 구조가 다르다는 것을 느꼈고, 추론 비용 없이 반복 실험이 가능하다는 점이 가장 유용했습니다.
LoRA를 이용한 파인튜닝을 시도해보았는데, 전체 파라미터를 학습하지 않고 소수의 어댑터 레이어만 업데이트해 메모리 효율적으로 모델을 특정 도메인에 맞출 수 있었습니다. 퀀타이즈된 모델을 사용해 VRAM이 제한된 환경에서도 추론이 가능하다는 것도 배웠습니다.
프롬프트 엔지니어링보다 파인튜닝이 유리한 경우가 언제인지를 실험으로 비교했는데, 도메인 특화 용어가 많을수록 파인튜닝 효과가 더 명확했습니다. 오픈소스 LLM은 직접 조작할 수 있다는 자유가 학습 깊이를 높여준다는 결을 얻었습니다.
오픈소스 LLM 파인튜닝을 하면서 가장 많이 배운 것은 한계였습니다. LoRA로 파인튜닝을 시도했는데, 학습 데이터가 적거나 품질이 낮으면 모델이 특정 표현 패턴만 외우는 경향이 생겼습니다. 학습 데이터의 품질이 베이스 모델 크기보다 최종 성능에 더 큰 영향을 준다는 것을 데이터를 정제하기 전후를 비교하면서 직접 확인했습니다. 잘못된 instruction-response 쌍을 걸러내는 것만으로 출력 품질이 달라졌습니다. 평가도 어려웠는데, 자동 벤치마크 점수가 좋아도 실제 사용 목적에 맞는 태스크에서는 다른 결과가 나오는 경우가 있었습니다.
태스크 특화 예제 20~30개를 만들어 직접 비교하는 방식을 쓰니 실제 유용성을 판단하기 쉬워졌습니다. GPU 비용도 현실적인 한계였는데, 모델 크기를 키울수록 실험 비용이 빠르게 늘었습니다. 오픈소스 LLM은 자유도가 크지만 데이터 품질 관리와 평가 설계가 없으면 효과를 확인하기 어렵다는 것을 이 경험에서 배웠습니다.
오픈소스 LLM을 로컬에서 실행하는 것과 서빙 환경에서 운영하는 것이 다른 차원의 문제라는 것을 배웠습니다. 파인튜닝된 모델을 실제 서비스에 올리려니 GPU 메모리가 부족했습니다. 양자화(Quantization)를 적용해 모델 파라미터를 낮은 비트로 압축하니 모델 크기가 줄어 더 작은 GPU에서도 실행 가능해졌습니다. GPTQ 방식으로 4비트로 양자화했을 때 모델 성능 손실이 생각보다 적었고, 메모리는 절반 이하로 줄었습니다. 추론 속도도 최적화가 필요했는데, vLLM을 처음 사용했을 때 동일한 모델이 일반 추론 방식보다 처리량이 눈에 띄게 높았습니다.
PagedAttention 방식으로 KV 캐시를 관리해 여러 요청을 배치 처리하는 구조라는 것을 학습하면서 이해했습니다. 한계는 양자화가 일부 태스크에서 품질 손실을 만들고, 어느 태스크에서 손실이 큰지 미리 평가해야 한다는 점입니다. 오픈소스 LLM의 실용 가치는 학습보다 효율적인 서빙 설계에서 결정된다는 것을 이 경험에서 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 이스트소프트 SW·IT 일반 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.