AI 모델을 시스템에 통합할 때 예측 신뢰성과 장애 대응이 핵심이라는 관점
AI 모델을 시스템에 통합할 때 제가 가장 중요하게 생각하는 건 모델 결과를 얼마나 신뢰할 수 있는지입니다. 모델이 잘못된 결과를 내도 시스템이 그대로 작동하면 사용자에게 영향이 갑니다. 수업에서 AI 모델이 포함된 서비스에서 예측 실패 시 폴백 처리를 어떻게 설계하느냐가 중요한 이슈라는 걸 배웠습니다. 소규모 프로젝트에서 추천 모델이 에러를 냈을 때 전체 페이지가 멈추는 상황을 경험했는데, 모델 결과에 의존하는 부분에 기본값 처리를 해두지 않은 것이 원인이었습니다.
모델이 없어도 시스템이 동작할 수 있는 구조를 먼저 만들고, 그 위에 AI를 얹는 방식이 맞다고 생각합니다. 모델 성능 지표뿐 아니라 서비스 안정성 관점에서의 통합 설계가 실제 운영에서 더 중요한 부분이라고 생각합니다.