멀티모달 융합 설계 경험 중심
영상과 텍스트를 함께 활용하는 콘텐츠 추천 모델을 설계한 경험이 있습니다. 영상 프레임에서 ResNet으로 시각 특징을 추출하고, 자막 데이터는 BERT 임베딩으로 변환했습니다. 두 모달을 어텐션 기반 크로스모달 융합 레이어로 결합했는데, 처음엔 단순 concatenation을 시도했다가 시각 특징이 텍스트를 압도하는 문제가 발생했습니다. 가중치 조정과 레이어 노름 적용 후 안정화됐습니다. 백엔드팀과 협업해 추론 파이프라인을 스트리밍 방식으로 재구성했고, 결과적으로 클릭률 14% 향상을 확인했습니다. 다양한 모달 통합에서 데이터 분포 불균형이 생각보다 큰 병목이라는 점, 그리고 융합 방식의 선택이 성능만큼 안정성에도 영향을 준다는 교훈을 얻었습니다.