최근에 사용해본 최신 딥러닝 기법 중 하나에 대해 설명해줄 수 있어?

최근에 직접 써본 기법은 LoRA(Low-Rank Adaptation) 기반의 파인튜닝입니다. 사전 학습된 대형 언어 모델을 특정 도메인에 맞게 조정하는데, 전체 파라미터를 재학습시키는 대신 소수의 저차원 행렬만 학습해서 비용과 시간을 크게 줄일 수 있습니다. 졸업 프로젝트에서 법률 문서 분류 태스크에 LLaMA 2를 적용할 때 사용했는데, GPU 한 장 기준 풀 파인튜닝은 약 12시간이 걸렸지만 LoRA를 쓰니 3시간 이내로 줄었습니다. 정확도도 풀 파인튜닝 대비 약 1~2%p 차이로 거의 유사했습니다. 단점도 있습니다. 저차원 행렬의 랭크(rank) 값을 잘못 설정하면 언더피팅이 나기 때문에, 처음에는 rank=4, 8, 16으로 실험을 반복하면서 태스크에 맞는 값을 찾았습니다. 이 경험으로 파인튜닝 기법을 선택할 때 정확도뿐 아니라 자원 제약과 실험 반복 가능성을 함께 고려하게 됐습니다.