로그 수집과 모니터링을 통해 어떤 문제를 발견하고 해결한 경험이 있나요?

개인 프로젝트에 Grafana를 연결하여 응답 시간과 에러율을 대시보드로 보고 있었는데, 어느 날 에러율이 갑자기 5%에서 30%로 상승하는 것을 발견했습니다. 사용자 민원이 오기 전에 제가 먼저 알게 되었습니다.

에러 로그를 확인하니 외부 API 호출 부분에서 타임아웃이 반복되고 있었습니다. 외부 서비스 상태 페이지를 보니 장애가 발생하였고, 제 서비스는 그 응답을 기다리다가 전체가 느려지는 상황이었습니다. 서킷 브레이커를 추가하여 외부 API 실패 시 폴백 처리하도록 변경한 후 에러율이 정상으로 돌아왔습니다.

그 경험에서 모니터링이 있으면 문제를 사용자보다 제가 먼저 알 수 있다는 것을 직접 느꼈습니다. 데이터가 있어야 빠르게 원인도 좁힐 수 있습니다. 그 경험이 모니터링을 서비스의 일부로 생각하게 해주었습니다.