자동화 업무를 진행하면서 겪었던 어려움과 그것을 어떻게 극복했는지 이야기해 주세요.

졸업 프로젝트에서 데이터 정제 파이프라인 자동화를 처음 도전했습니다. 가장 큰 어려움은 외부 소스 데이터 형식이 예고 없이 바뀌어서 파이프라인이 조용히 실패하는 상황이었습니다. 처음에는 오류를 알아채지 못하다가 몇 시간 뒤에 결과가 이상한 걸 발견하곤 했습니다. 이후 각 단계에 입력 스키마 검증을 추가하고, 검증 실패 시 즉시 슬랙 알림이 오도록 연결했습니다. 자동화 작업이 완료될 때마다 처리 건수·실패 건수·소요 시간을 로그로 남기는 요약 리포트를 만들어서 이상 징후를 빠르게 파악할 수 있게 했습니다. 환경 의존성 문제로 로컬에서는 되는데 서버에서 안 되는 케이스도 있었고, 도커로 실행 환경을 고정하는 방식으로 해결했습니다.

자동화의 어려움은 코드 작성보다 예외 처리와 모니터링 설계에 더 많이 있는 자리라는 걸 배웠습니다.