로그 타임스탬프 분석 + 이상 탐지 임계값 + 오류율 시간대 분석 + 자동 추적 체계 경험
팀 프로젝트에서 시스템 로그를 분석해서 개선 지점을 찾는 경험을 처음 했습니다. 처음에는 로그가 단순 기록이라고 생각했는데, 어느 구간에서 응답이 느려지는지를 타임스탬프로 분석하면서 성능 개선의 단서를 찾을 수 있었습니다. 이상 탐지 쪽에서는 평균 응답 시간 + 표준편차를 기준으로 임계값을 만들고, 벗어나는 이벤트를 먼저 추출하는 방식을 썼습니다. 로그 데이터를 pandas로 분석하면서 특정 API의 오류율이 높은 시간대를 발견했고, 그 구간의 서버 상태와 연결해 원인을 찾았습니다.
장기적으로는 주기적인 분석이 아니라 지표를 자동으로 추적하는 체계를 만드는 방향으로 나아가고 싶습니다. 데이터 분석은 어떤 지표를 볼지 먼저 정의하지 않으면 많은 데이터가 있어도 방향을 잃기 쉬운 자리라는 걸 배웠습니다.