Multi-modal LLM 기반 Foundation Model을 개발하기 위해 어떤 접근 방식을 취할 것이며, 그 이유는 무엇인가요?

Multi-modal Foundation Model 개발 접근법을 수업과 논문으로 공부한 내용 기반으로 말씀드리면, 저는 데이터 파이프라인 설계와 모달리티 정렬 단계가 핵심이라고 생각합니다.

첫 단계는 이미지·텍스트·오디오 등 각 모달리티별 데이터를 정제하고 정렬된 멀티모달 쌍을 구축하는 것입니다. 모달리티 간 시맨틱 정렬이 이루어지지 않은 데이터로 학습하면 모델이 두 모달리티를 연결하는 능력 대신 각각을 따로 처리하는 방향으로 흘러갑니다. 두 번째는 비전 인코더와 언어 모델 사이의 브리지 레이어 설계인데, 최근 CLIP 계열처럼 대조 학습으로 정렬하는 방식이나, Q-Former처럼 고정된 쿼리 토큰으로 시각 정보를 요약하는 방식이 대표적입니다. 제가 논문 분석 과제에서 수행한 것은 서로 다른 브리지 방식의 ablation 결과를 비교한 것이었는데, 브리지 파라미터 수보다 정렬 방식의 설계 원리가 성능에 더 큰 영향을 미쳤습니다. 실패 사례로는 초기에 브리지 없이 단순 concat 방식으로 구현했다가 텍스트와 이미지를 완전히 무관하게 처리하는 결과가 나왔습니다.

멀티모달 모델은 각 모달리티를 잘 인코딩하는 것보다, 모달리티 간의 의미 연결을 어떻게 만드는가가 더 중요하다고 생각합니다.