AI/ML 파이프라인을 설계할 때 가장 중요하다고 생각하는 요소는 무엇인가요?

졸업 논문 프로젝트에서 지식 그래프 기반 질의응답 시스템을 위한 자동화 ML 파이프라인을 설계한 경험이 있습니다.

핵심 과제는 구조화되지 않은 텍스트 데이터에서 엔티티와 관계를 자동 추출해 지식 그래프로 변환하는 것이었습니다. 저는 이 과정을 3단계 파이프라인으로 설계했습니다. 1단계는 NER + 관계 추출 모델(spaCy + Hugging Face 파인튜닝), 2단계는 Neo4j에 그래프 적재, 3단계는 자연어 질의 → SPARQL 변환이었습니다.

사용한 기술로는 Python 기반 워크플로우는 Apache Airflow로 스케줄링했고, 모델 버전은 MLflow로 관리했습니다. 데이터가 지속적으로 추가되는 구조여서, 새 텍스트 배치가 들어오면 파이프라인이 자동으로 그래프를 업데이트하도록 설계했습니다.

성과 측면에서는 질의응답 정확도를 베이스라인(TF-IDF 검색) 대비 약 22% 향상시켰고, 처리 시간은 수동 작업 대비 80% 단축됐습니다.

이 경험에서 배운 핵심은 파이프라인의 각 단계 오류를 독립적으로 감지하고 재시도할 수 있어야 한다는 점입니다. 처음에는 전체를 하나의 스크립트로 만들었다가 중간 단계 실패 시 전체를 다시 돌려야 하는 문제를 겪었고, 이후 단계별 체크포인트 구조로 개선했습니다.