비정형 텍스트 정형화/표준화에 대해 어떤 경험이 있으신가요?

기존 정규식 기반 정형화가 한계에 달했을 때 처음으로 LLM을 활용해 비정형 주소를 표준 포맷으로 변환하는 파이프라인을 만들게 됐어요. LLM이 대부분의 케이스를 잘 처리했지만 출력 형식이 일관되지 않고 가끔 존재하지 않는 주소를 생성하는 문제가 있었습니다.

LLM 기반 정형화는 규칙 기반보다 커버리지가 넓지만 출력의 형식 일관성과 환각 문제를 별도로 처리해야 하고, 출력 검증 레이어 없이 배포하면 잘못된 데이터가 조용히 저장된다는 걸 그 경험에서 배웠어요. LLM을 파이프라인에 넣을 때는 생성 결과를 신뢰하지 않고 사후 검증 단계를 항상 함께 설계해야 한다는 걸 알았습니다.

지금은 LLM 정형화 파이프라인에 형식 검증과 신뢰도 낮은 출력을 사람 검토 큐로 보내는 단계를 기본 구조로 씁니다. LLM은 강력한 도구지만 출력의 감리 없이는 신뢰할 수 없다는 원칙이 그 경험에서 나왔습니다.