P95/P99 지연 시간을 최소화하기 위해 어떤 성능 최적화 기법을 사용할 수 있을까요?

P95·P99 지연 최소화는 평균 지연 개선과 접근 방식이 다릅니다. 평균은 다수 요청을 개선하면 좋아지지만, 꼬리 지연은 특정 요청에서만 발생하는 병목을 잡아야 합니다. 학부 프로젝트에서 API 응답 시간을 분석했을 때, P99가 P50보다 10배 이상 높았는데 원인을 추적하니 인덱스가 없는 컬럼으로 정렬하는 쿼리가 간헐적으로 실행되고 있었습니다.

EXPLAIN ANALYZE로 쿼리 플랜을 확인한 뒤 인덱스를 추가하자 P99가 크게 줄었습니다. 그 외에 커넥션 풀 설정이 낮게 잡혀 있어 요청이 몰릴 때 대기 큐가 쌓이는 문제도 함께 발견했습니다. P99를 줄이려면 먼저 로그에서 지연이 큰 요청을 샘플링해 패턴을 찾는 것이 출발점이라는 것을 이 경험에서 배웠습니다.