현장에서 로그와 실측 데이터를 직접 확인하며 장애 원인을 좁혀나간 결
인턴 때 온프레미스 서버에서 야간 배치가 갑자기 멈추는 장애가 발생했습니다. 클라우드와 달리 직접 서버실에 들어가서 로그를 확인해야 했습니다. /var/log/syslog와 애플리케이션 로그를 비교하며 장애 시점을 특정했고, 메모리 사용량이 특정 배치 직후 급격히 올라간 것을 발견했습니다.
free -m과 top 출력을 캡처해 두고 재현을 시도했습니다. 원인은 캐시 무효화 타이밍이 맞지 않아 동일 쿼리가 중복 실행되는 것이었고, 배치 실행 순서를 재조정하는 것으로 해결했습니다. 이 경험 이후로는 장애 대응을 시작할 때 타임라인 기록을 먼저 남기는 습관이 생겼습니다.