인턴 마지막에 한 사내 알람 노이즈 분류 모델로 운영팀 시간 2h→25분 만든 경험
약 90초
목적(노이즈 분류) → 데이터(220만 행·라벨·메트릭) → 기술(LGBM+MLflow+FastAPI) → 결과·인사이트(텍스트보다 시간·횟수 신호)
가장 최근에 참여한 프로젝트는 학부 졸업 학기에 했던 '사내 운영 알람 노이즈 분류 모델' 구축입니다. 인턴 4개월 마지막에 사수님과 페어로 진행했고, 본인은 데이터 라벨링·모델 학습·평가 파이프라인 부분을 맡았습니다.
프로젝트 목적 쪽으로는, '하루 12,000건 발생하는 운영 알람 중 진짜 액션이 필요한 알람만 자동 분류하기'였습니다. 운영팀이 매일 약 2시간을 알람 분류에 쓰고 있어, 그 시간을 절반 이하로 줄이는 결이 목표였습니다.
사용 데이터 쪽으로는, 6개월 치 알람 로그 220만 행·운영팀이 실제로 액션 취한 1.2만 건 라벨·서비스 메트릭 시계열 세 가지를 묶었습니다. 추가로 알람 메시지 텍스트는 사전 학습된 한국어 임베딩(KoBERT)으로 벡터화했습니다.
기술 스택 쪽으로는, scikit-learn(피처 엔지니어링)·LightGBM(분류 모델)·MLflow(실험 추적)·FastAPI(추론 서비스) 조합으로 갔습니다. 선택 기준은 '운영팀이 직접 임계값을 조정할 수 있는 결'이 가능한 모델이어야 했기 때문입니다.
결과 쪽으로는, 노이즈 알람 73% 자동 필터·실제 액션 필요 알람의 재현율 94%·운영팀 분류 시간 일 2시간→25분으로 닫혔습니다. 인사이트는 '알람 텍스트의 단어보다, 발생 시각·연속 발생 횟수·서비스 메트릭의 결이 더 큰 분류 신호'였다는 점입니다.