솔직 경험형
약 65초
*데이터 엔지니어링 관리 요소*를 학부 캡스톤 경험으로 답한다.
대규모 데이터 엔지니어링 실무는 없습니다. 학부 캡스톤에서 작은 ETL 파이프라인 6주를 다뤄본 정도입니다.
그 경험에서 본 가장 중요한 관리 요소는 데이터 정합성·증분 처리·실패 복구 세 가지였습니다. 데이터 12만 건을 매일 적재하는 자리에서 중복 키 처리를 안 하면 다음 날 두 배가 되는 자리가 가장 자주 부딪힌 자리였습니다.
첫 자리에 멱등성 없이 시작한 실패가 있었고, 한 작업 재실행으로 데이터가 두 배가 된 자리가 있었습니다. 그 일이 멱등성은 첫 자리부터라는 자세를 만들었습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다. 그 자세는 어떤 자리에서도 같은 결을 만든다고 봤고, 새 직무에서도 첫 한 달의 작은 자리에서부터 그 결을 그대로 가져가는 자세로 들어가고 싶습니다.
이 결의 특징
6주짜리 ETL 캡스톤에서 매일 12만 건을 적재하며, 멱등성 없이 시작해 재실행 한 번으로 데이터가 두 배가 된 실패를 통해 정합성·증분 처리·실패 복구 세 요소를 관리 축으로 짚어낸 흔적이 있습니다.
이 결이 통하는 자리
멱등성은 첫 자리부터라는 원칙이 데이터 두 배라는 구체적 사고와 함께 있을 때 통합니다. 대규모 실무는 없다는 한계를 밝히면서도 작은 규모의 실패를 구체적으로 짚은 자리에서 통하는 결이 보입니다.