사용자 신뢰 설계 결
프로젝트에서 간단한 AI 추천 모듈을 붙인 적이 있습니다. 정확도가 높아도 사용자가 왜 이 결과가 나왔는지 모르면 신뢰하지 않는다는 걸 사용자 인터뷰에서 확인했습니다. 그 이후로 AI 솔루션 운영 모델을 설계할 때는 정확도보다 설명 가능성을 먼저 챙기게 됐습니다. AI 코칭처럼 사람의 행동에 개입하는 솔루션이라면 특히 그렇습니다. 코칭 결과가 왜 나왔는지 사용자가 납득해야 다음 행동으로 이어지기 때문입니다. 운영 모델에는 피드백 루프도 함께 설계돼야 한다고 봅니다.
추천 → 사용자 반응 → 모델 재학습의 흐름이 끊기면 시간이 갈수록 정확도가 오히려 떨어지는 경험을 했습니다. 아직 대규모 운영은 경험해보지 못했지만, 설명 가능성과 피드백 루프라는 두 축은 이어집니다.