자동화된 지식 엔지니어링을 위해 어떤 ML 파이프라인을 설계해본 경험이 있는지 이야기해줄 수 있나요?

졸업 논문 프로젝트에서 지식 그래프 기반 질의응답 시스템을 위한 자동화 ML 파이프라인을 설계한 경험이 있습니다.

핵심 과제는 구조화되지 않은 텍스트 데이터에서 엔티티와 관계를 자동 추출해 지식 그래프로 변환하는 것이었습니다. 저는 이 과정을 3단계 파이프라인으로 설계했습니다. 1단계는 NER + 관계 추출 모델(spaCy + Hugging Face 파인튜닝), 2단계는 Neo4j에 그래프 적재, 3단계는 자연어 질의 → SPARQL 변환이었습니다.

사용한 기술로는 Python 기반 워크플로우는 Apache Airflow로 스케줄링했고, 모델 버전은 MLflow로 관리했습니다. 데이터가 지속적으로 추가되는 구조여서, 새 텍스트 배치가 들어오면 파이프라인이 자동으로 그래프를 업데이트하도록 설계했습니다.

성과 측면에서는 질의응답 정확도를 베이스라인(TF-IDF 검색) 대비 약 22% 향상시켰고, 처리 시간은 수동 작업 대비 80% 단축됐습니다.

이 경험에서 배운 핵심은 파이프라인의 각 단계 오류를 독립적으로 감지하고 재시도할 수 있어야 한다는 점입니다. 처음에는 전체를 하나의 스크립트로 만들었다가 중간 단계 실패 시 전체를 다시 돌려야 하는 문제를 겪었고, 이후 단계별 체크포인트 구조로 개선했습니다.