복잡한 문제를 해결했던 경험에 대해 구체적으로 설명해 주세요.

팀 프로젝트에서 데이터 파이프라인 중간에서 레코드가 사라지는 문제가 생겼습니다. 처음엔 간헐적으로 발생해서 단순한 네트워크 오류로 보였지만, 재실행해도 같은 레코드가 계속 누락됐습니다.

저는 먼저 파이프라인 각 단계에서 레코드 수를 로깅하는 코드를 추가해 어느 단계에서 수가 줄어드는지 추적했습니다. 분석 결과 null 값이 포함된 레코드가 특정 변환 함수에서 예외 없이 조용히 드롭되는 것이 원인이었습니다. 예외 처리가 누락된 상태에서 해당 함수가 빈 값을 반환하면, 다음 단계 필터링 조건에 걸려 제거됐습니다.

해결책은 두 갈래였습니다. 단기로는 해당 함수에 null 처리 로직을 추가하고, 장기로는 파이프라인 전 단계에 입력·출력 레코드 수 비교 어설션을 붙여 이런 조용한 드롭이 다시는 발견되지 않도록 구조를 바꿨습니다.

수정 후 5,000건 재처리에서 누락 0건이 확인됐고, 팀 리뷰에서 이 어설션 패턴을 다른 파이프라인에도 적용하자는 결론이 났습니다. 복잡한 버그일수록 재현 가능한 측정부터 시작해야 방향이 보인다는 걸 배웠습니다.