도메인 특수성을 인지하고 보안·안정성을 함께 설계한 결
학과 연구실에서 건강 설문·생체 데이터를 수집하는 파이프라인을 만들었습니다. 헬스케어 데이터는 민감 정보라 개인식별자를 수집 시점에 분리해서 분석 DB와 원본 DB를 나누는 구조로 설계했습니다. 수집·정제·저장 각 단계에서 이상값 자동 알람을 달았는데, 센서 오류로 생체 신호가 0으로 찍히는 케이스가 초기에 5%가 넘었고 이 알람이 없었으면 한동안 모르고 지나쳤을 겁니다. 파이프라인이 멈추면 데이터가 영구 손실될 수 있어서 Kafka 큐로 버퍼링하고, 처리 실패 시 재처리 가능하도록 멱등성 설계를 적용했습니다. 헬스케어 도메인에서 파이프라인은 '데이터 손실 = 연구 손실' 이어서, 일반 파이프라인보다 안정성에 더 높은 기준을 두게 됐습니다.