Datadog을 사용하여 이슈 관제 체계를 고도화하는 과정에서 어떤 요소를 고려하실 건지 말씀해 주세요.

인턴 때 Datadog으로 서비스 모니터링 대시보드를 처음 구성하는 작업을 지원했습니다. 메트릭 측면에서는 CPU·메모리 같은 기본 지표 외에 서비스 수준에서 의미 있는 SLI를 먼저 정의하는 것이 중요하다는 걸 배웠습니다. 로그 측면에서는 로그에 요청 ID를 포함시키면 분산 환경에서 특정 요청의 흐름을 추적하는 게 훨씬 쉬워지는 걸 경험했습니다. 트레이스 측면에서는 분산 추적을 설정해서 어느 서비스에서 지연이 생기는지 한눈에 보이는 구조를 만들었습니다. 알람 측면에서는 임계치를 너무 낮게 설정하면 알람이 너무 많이 울려서 중요한 경고를 놓치는 문제를 경험했습니다. 고도화 방향은 이상 탐지보다 먼저, 어떤 상황이 대응이 필요한 수준인지를 기준으로 알람을 재설계하는 것이라는 걸 배웠습니다.

관제 체계는 도구보다 무엇을 언제 어떻게 알릴지의 기준을 먼저 설계하는 것이라는 걸 그때 느꼈습니다.