대규모 Multi-modal LLM 학습을 진행한 경험에 대해 설명해 줄 수 있어?

대규모 멀티모달 LLM 학습을 직접 진행한 경험은 없습니다. 하지만 수업과 개인 공부에서 텍스트와 이미지를 함께 처리하는 멀티모달 모델의 구조를 공부했고, 왜 학습이 단일 모달보다 훨씬 어려운지를 이해했습니다. 핵심은 두 모달리티의 표현 공간을 정렬하는 것인데, 이 정렬이 제대로 안 되면 이미지와 텍스트 간 의미 연결이 흐려집니다.

CLIP 관련 논문을 읽으면서 대규모 페어 데이터와 대조 학습이 이 정렬 문제를 푸는 핵심이라는 걸 이해했습니다. 실제 학습 경험은 없지만, 왜 그렇게 설계되는지를 이해하는 것이 이후 실무 진입의 준비라고 생각합니다. 이해가 먼저 있어야 실무에서 빠르게 적용할 수 있다고 생각합니다.