솔직한 경험 기반 접근
파이프라인 장애를 직접 해결한 경험은 인턴 기간에 배치 작업이 멈춰서 로그를 분석한 것이 있습니다. 스케줄된 작업이 특정 자리에서 멈췄고, 먼저 에러 로그를 확인해 어느 단계에서 실패했는지 특정했습니다. 원인은 업스트림 데이터 파일의 스키마가 변경된 것이었고, 파이프라인이 변경을 감지하지 못해 파싱에서 실패하고 있었습니다. 임시 조치는 스키마를 맞춘 변환 스크립트를 추가한 것이었고, 사후 조치로 스키마 변경을 감지하는 자리를 파이프라인에 추가하자는 제안을 남겼습니다. 장애 해결에서 가장 중요한 자리는 로그를 읽는 속도와 원인을 특정하는 순서입니다. 임시 조치와 근본 원인 해결은 별도 자리이고, 임시 조치가 영구 해결책이 되지 않도록 주의하는 것이 중요합니다.