작은 범위로 먼저 검증한 경험 중심으로 푸는 결
대학원 연구실에서 머신러닝 기법을 로그 이상 탐지에 붙여보는 작은 실험을 해본 경험이 있습니다. 처음에는 모든 종류의 로그에 한꺼번에 적용하려 했는데, 데이터가 너무 섞여 있어 결과가 틀린 경보투성이였습니다. 그래서 저는 범위를 로그인 실패 로그 한 종류로 좁혀 다시 시작했습니다. 사람이 봐도 명백히 이상한 서른 건을 먼저 기준으로 정해두고, 모델이 그중 몇 개를 잡는지로 확인했습니다. 처음부터 크게 벌이려다 결과를 못 믿게 됐던 게 교훈이었고, 작게 시작해 맞는지 확인할 수 있는 범위부터 다룬 게 도움이 됐습니다. 지금도 새 기술을 쓸 때 저는 검증할 수 있는 가장 작은 조각부터 떼어냅니다.