데이터 모델링을 수행할 때 어떤 접근 방식을 사용하고, 그 이유는 무엇인가요?

멀티모달 딥러닝에서 제가 실험해본 구조는 이미지와 텍스트를 각각 인코딩한 뒤 fusion layer에서 합치는 방식이었습니다. ViLT 논문을 읽고 패치 기반 시각 인코딩을 직접 구현해봤는데, 입력 모달리티를 어떻게 정렬하느냐가 최종 성능에 생각보다 크게 영향을 줬습니다. 저는 early fusion과 late fusion 두 가지를 같은 데이터로 비교했고, 분류 태스크에서는 late fusion이 약 5% 높은 정확도를 보였습니다. 한계는 두 가지입니다. 하나는 학습 데이터 규모인데, 멀티모달 모델은 데이터가 훨씬 많아야 일반화가 잘 된다는 걸 작은 실험에서도 느꼈습니다. 다른 하나는 추론 속도입니다. 모달리티가 늘수록 레이턴시가 올라가는데, 실시간 서비스에서 어떻게 최적화할지는 아직 이론으로만 압니다.