텍스트·이미지 조합 생성 파이프라인을 구현하고 일관성과 비용을 함께 챙긴 결
개인 프로젝트에서 SNS 카드뉴스 자동 생성 파이프라인을 만든 경험이 있습니다. 텍스트 요약은 LLM으로, 카드 이미지는 Stable Diffusion으로 분리해서 처리했는데, 두 결과물이 서로 다른 맥락으로 나오는 게 처음에 가장 큰 문제였습니다. 텍스트에서 뽑은 핵심 키워드 3개를 이미지 프롬프트에 강제로 주입하는 방식으로 일관성을 높였고, CLIP Score로 텍스트-이미지 정렬 정도를 수치화해서 검증했습니다. 비용 면에서는 이미지 생성이 텍스트보다 API 비용이 8배 이상 컸기 때문에, 스타일 프롬프트 3종을 미리 캐시해 중복 호출을 줄였습니다. 멀티모달 생성은 각 모달보다 연결 지점의 일관성이 품질의 핵심이라는 걸 이 과정에서 배웠습니다.