팀 프로젝트에서 서비스 모니터링 파이프라인을 처음 구축한 경험 서술
대규모 운영 경험은 없지만, 팀 프로젝트에서 처음으로 서비스 메트릭 수집 구조를 만들어 보았습니다. 앱 서버에서 응답 시간, 에러율, 요청 수를 수집하여 대시보드로 볼 수 있게 하는 것이 목표였습니다.
오픈소스 도구를 조합하여 메트릭 수집 에이전트를 서버에 심고, 수집된 데이터를 시계열 DB에 저장하는 구조를 만들었습니다. 처음에는 에이전트 설정이 복잡하여 일주일 이상 걸렸고, 도중에 포맷이 달라져서 파싱 오류가 계속 발생하였습니다.
완성하고 나서 실제로 특정 시간대에 응답 시간이 튀는 패턴을 발견하였는데, 이는 배치 작업이 겹치는 시간이었습니다. 데이터를 보지 않았더라면 알지 못했을 문제였습니다. 관측 가능성을 만드는 것 자체가 문제 발견 능력을 키우는 과정이라는 것을 그 경험이 가르쳐주었습니다.