관찰 가능성 아키텍처를 설계하거나 운영한 경험이 있다면, 그 과정에서 배운 점은 무엇인가요?

관찰 가능성 체계를 도입한 뒤 가장 뚜렷하게 달라진 것은 장애 대응 시간이었습니다. 이전에는 문제가 생기면 로그를 grep하거나 배포 이력을 뒤지는 데 시간을 썼는데, 구조화된 로그와 트레이스를 붙이고 나서는 어느 서비스, 어느 엔드포인트에서 오류가 시작됐는지를 첫 5분 안에 좁힐 수 있었습니다.

OpenTelemetry로 trace_id를 서비스 간에 전파하면서 분산 환경에서 요청 흐름을 한 줄로 연결하는 구조를 만들었고, 응답 시간 P99 지표를 SLO 기준으로 정해 알림 임계값을 설정했습니다. SLO를 99.5%로 설정하고 에러 버짓을 계산해보니 월간 허용 가동 중단 시간이 약 3.6시간이라는 것이 구체적으로 잡혔고, 알림이 실제 예산 소비와 연결된다는 느낌이 생겼습니다.

지표를 보기 전까지는 장애 복구가 잘 됐는지 나쁘게 됐는지 감으로만 판단했는데, 측정 결과가 쌓이고 나서야 '이번은 MTTR이 줄었다'고 말할 수 있는 자리가 생겼습니다.