직접 경험
인턴 프로젝트에서 데이터 파이프라인 일부를 자동 복구되도록 개선하는 과제를 맡았습니다. 처음에는 LLM 기반 이상 감지 모듈을 붙이면 간단할 줄 알았는데, 정작 어려운 건 오류 로그 구조가 너무 달라 LLM에 넘길 입력을 통일하는 작업이었습니다. 수집 소스마다 스키마가 달라 정규화 레이어를 먼저 짰고, 오류 패턴을 15가지로 분류해 각 패턴에 대한 복구 액션 맵을 정의했습니다. LLM은 분류 판단에만 쓰고 실제 복구는 결정적인 스크립트가 처리하도록 역할을 나눴더니 안정성이 높아졌습니다. 완전 자동화보다 사람이 검토할 지점을 명확히 두는 설계가 운영 단계에서 훨씬 낫다는 걸 배웠습니다.
자동화 설계는 실패 케이스를 먼저 열거하는 데서 시작해야 한다는 것도 이 경험에서 배웠습니다.