다양한 데이터(텍스트, 이미지, 오디오 등)를 다루면서 경험한 기술적 도전이 있다면, 어떤 것들이 있었는지 이야기해 주세요.

졸업 프로젝트에서 텍스트·이미지·오디오 데이터를 동시에 다루는 감정 분류 모델을 만들었습니다. 가장 어려웠던 것은 각 모달리티의 전처리 방식이 달라서 파이프라인을 합치는 것이었습니다. 텍스트는 토크나이저로 처리하고 이미지는 CNN 레이어를 거치고, 오디오는 mel-spectrogram으로 변환했는데 세 갈래가 합쳐지는 fusion 단계에서 차원 불일치 오류가 계속 났습니다. 논문 3편을 읽고 late fusion 방식으로 바꿔서 각 모달리티 출력을 별도로 임베딩한 뒤 concat했더니 문제가 해결됐습니다.

차원을 맞추는 것보다 언제 합칠지를 결정하는 것이 더 중요한 설계 질문이라는 것을 그때 배웠습니다. 또한 오디오 데이터는 샘플 길이가 고르지 않아 패딩과 자르는 기준을 어떻게 잡느냐에 따라 정확도가 크게 달라졌고, 이를 해결하기 위해 슬라이딩 윈도우로 분할하는 방식을 적용했습니다. 이 과정에서 멀티모달 데이터는 각 데이터 특성을 먼저 이해하고 합치는 전략을 세워야 한다는 원칙이 생겼습니다.