머신러닝 모델을 설계할 때 가장 중요하게 고려해야 할 요소는 무엇인가요?

대규모 머신러닝 모델을 설계할 때 제가 가장 중요하게 생각하는 건 데이터 품질과 파이프라인 안정성입니다. 모델 알고리즘이 아무리 좋아도 입력 데이터가 나쁘면 결과도 나쁩니다. 수업에서 같은 모델을 다른 데이터로 학습했을 때 성능 차이가 크게 나는 경험을 했는데, 데이터 전처리가 모델 튜닝보다 성능에 더 큰 영향을 준다는 걸 알게 됐습니다. 개인 프로젝트에서 크롤링한 데이터를 정제하지 않고 학습에 썼더니 예측이 전혀 엉뚱한 방향으로 나온 적이 있었습니다. 원인을 찾으니 노이즈가 많은 샘플이 포함된 것이었습니다.

데이터를 검증하는 단계가 없으면 모델이 잘못된 방향을 학습한다는 걸 그때 확인했습니다. 대규모에서는 이 문제가 더 크게 작용하기 때문에 데이터 수집부터 검증까지의 파이프라인 설계가 모델 자체보다 먼저 잡혀야 한다고 생각합니다.