어려운 케이스 수집과 반복적 개선 루프
라벨링 가이드라인 정교화에서 저는 실제 작업 중 발생하는 어려운 케이스를 수집하는 것을 출발점으로 삼습니다. 이론적으로 완벽한 가이드라인은 현실의 엣지 케이스를 담지 못하기 때문입니다. 구체적으로 라벨러들이 판단하기 어려웠던 케이스를 주간 리뷰 세션에서 공유하게 하고, 이를 긍정 예시·부정 예시·경계 예시 세 범주로 분류해 가이드라인에 추가합니다. 데이터 품질 보장을 위해 기준 변경 전후 샘플 100개를 재라벨링해 변경 효과를 검증합니다. 팀 협업 측면에서는 도메인 전문가, 라벨러, 모델 팀이 함께 기준 합의에 참여하는 구조가 중요합니다. 평가 지표는 라벨러 간 일치율(IAA)과 모델 성능 상관도를 함께 추적합니다.