모니터링과 관찰 가능성을 개선하기 위해 어떤 지표를 사용하고, 이를 어떻게 측정했는지 설명해 주세요.

팀 프로젝트 서비스를 처음 배포했을 때 어떤 지표를 봐야 하는지조차 몰랐습니다. 그냥 서버가 켜져 있으면 된다고 생각했기 때문입니다.

문제는 이틀 뒤에 생겼습니다. 서비스가 응답은 하는데 속도가 점점 느려지는 현상이 발생했습니다. 서버 자원을 보니 메모리가 천천히 쌓이고 있었습니다. 모니터링 도구가 없으니 정확히 언제부터 시작됐는지, 어떤 요청이 원인인지 파악할 수 없었습니다. 결국 서버를 재시작하고 임시방편으로 넘겼습니다.

그 이후로 응답 시간, 메모리 사용량, 에러 발생률 세 가지를 기본 지표로 설정했습니다. 오픈소스 모니터링 도구를 연결하여 대시보드를 만들었고, 에러율이 기준치를 넘으면 이메일로 알림이 오도록 설정했습니다. 다음에 비슷한 문제가 발생했을 때는 어느 시간대부터 메모리가 증가했는지가 바로 보였습니다. 처음에는 지표 설정 자체가 귀찮았지만, 문제를 나중에 발견하는 것보다 미리 보는 것이 훨씬 싸다는 것을 경험으로 알게 되었습니다.