JVM 튜닝과 메모리 관리를 통해 서브 세컨드 레이턴시를 달성하기 위해 어떤 접근 방식을 사용하나요?

JVM 튜닝에서 또 다른 접근으로 힙 메모리 프로파일링 도구를 활용해 메모리 누수(Memory Leak)와 과도한 객체 생성을 탐지하고 근본 원인을 제거하는 방식을 사용했습니다. GC 튜닝은 GC 자체의 동작을 최적화하지만, 근본적으로 불필요한 객체가 계속 생성되거나 해제되지 않으면 GC 빈도를 아무리 줄여도 레이턴시는 다시 올라옵니다.

`VisualVM`과 `Eclipse MAT`으로 힙 덤프를 분석하면서 참조가 끊기지 않아 GC에서 회수되지 않는 객체 집합을 찾았고, 그 원인이 캐시 구현에서 강한 참조(Strong Reference)를 쓰던 부분이었습니다. 약한 참조(WeakReference) 전환 최적화가 캐시 항목이 메모리 압박 시 자동으로 해제되도록 변경하면서, 불필요한 풀 GC 트리거를 줄이는 방식이고, 이것이 레이턴시 개선의 두 번째 레이어였습니다.

P99 레이턴시가 여전히 600ms에서 내려오지 않아서 힙 덤프를 다시 분석했을 때, 캐시 외에 스레드 로컬 변수에 대용량 데이터가 쌓이는 패턴이 추가로 발견됐고, 이를 정리하면서 목표치인 500ms 이하로 도달했습니다. 메모리 문제는 GC 설정보다 객체 수명 주기를 먼저 추적하는 것이 더 빠른 해결 경로입니다.