AI 추천 시스템을 기획할 때 가장 먼저 고려해야 할 요소는 무엇이라고 생각하나요?

제가 학부 프로젝트에서 AI 기능을 만들며 배운 건, 기술이 좋아도 사용자가 믿지 못하면 안 쓴다는 점이었습니다.

한 번은 제가 만든 AI 기능이 꽤 정확했는데도, 발표에서 한 분이 '이걸 왜 믿느냐'고 물었습니다. 저는 제대로 답을 못 한 실패를 했습니다. 성능 수치만 준비했지, 사용자의 불안은 생각 못 했던 겁니다.

그 뒤로 저는 AI 시스템을 설계할 때, 결과를 덮어놓고 던지지 않고 왜 그런 결과가 나왔는지를 사용자가 가늠할 수 있게 했습니다. 또 사용자가 결과를 검토하고 고칠 여지도 남겼습니다. AI 시스템을 설계할 때 제가 고려하는 건, 정확도와 함께 사용자가 그 결과를 이해하고 신뢰할 수 있는가입니다. 신뢰가 없으면 좋은 기술도 멈췄습니다.