AI와 머신러닝의 최신 동향을 어떻게 파악하고 있나요?

AI·ML 동향을 계속 보면서 생긴 제 시각은 새 모델이 나올 때마다 벤치마크 점수와 실제 사용 경험 사이의 간격이 크다는 것입니다. 논문과 보도자료에서 SOTA를 달성했다는 표현이 많지만, 같은 모델을 다른 도메인 데이터에 적용해보면 성능이 크게 달라지는 경험을 여러 번 했습니다.

이 시각이 생긴 계기는 한 NLP 모델을 한국어 데이터에 적용하려다 토크나이저 커버리지 문제로 의도한 성능이 전혀 나오지 않았던 경험입니다. 영어 기준 벤치마크가 높아도 목적 언어나 도메인이 다르면 다시 평가해야 한다는 것을 그때 배웠습니다.

이 경험 이후 새 모델이나 기법을 접할 때 벤치마크 조건을 먼저 확인하는 습관이 생겼습니다. 어느 데이터셋, 어느 언어, 어느 태스크 기준인지를 보지 않으면 수치가 내 문제에 적용 가능한지 판단하기 어렵습니다. 동향을 파악하는 것이 단순히 새것을 아는 게 아니라 내 상황에서 유효한지를 가릴 수 있어야 한다는 생각이 남아 있습니다.