데이터 파이프라인 설계 시 가장 중요하게 고려해야 할 점은 무엇인가요?

데이터 엔지니어링 수업에서 팀 프로젝트로 영화 리뷰 데이터를 수집·정제·분석하는 파이프라인을 만들었습니다. 규모는 작지만 수집부터 적재까지 전 단계를 직접 설계했습니다.

가장 크게 배운 건 '데이터가 중간에 깨지는 경우를 어떻게 잡느냐'였습니다. 크롤링 단계에서 인코딩이 섞인 문자열이 다음 단계로 그대로 넘어가면서 분석 단계에서 오류가 터졌는데, 어느 단계에서 문제가 생겼는지 추적하는 데 예상보다 시간이 두 배 걸렸습니다. 그 경험 이후로 각 단계 사이에 간단한 유효성 검사 로그를 넣는 것이 얼마나 중요한지 알게 됐습니다. 처음에는 번거롭다고 넘겼다가 나중에 후회한 부분이었습니다.

실무 파이프라인은 훨씬 복잡하고 안정성 요구가 높다는 걸 압니다. 크래프톤처럼 대규모 게임 데이터를 다루는 환경에서는 더욱 그럴 것 같습니다. 입사 후에는 실제 운영 환경에서 배우겠습니다.