Red Teaming 데이터 구축 경험이 있다면, 그 과정에서의 배운 점은 무엇인가요?

Red Teaming 데이터 구축 경험은 학과 프로젝트에서 LLM의 안전성 취약점을 테스트하기 위한 프롬프트 세트를 직접 설계해본 것이 처음이었습니다. 목적 이해 자리에서는 Red Teaming이 모델이 잘 작동하는 것을 확인하는 게 아니라, 모델이 실패하는 자리를 찾는 것을 목적으로 한다는 점을 먼저 명확히 했습니다. 유형 분류 자리에서는 직접 유해 요청, 역할극을 통한 우회, 맥락 조작처럼 공격 유형을 먼저 분류하고, 각 유형에 해당하는 사례를 구성했습니다. 수집 자리에서는 동일한 의도를 다양한 표현으로 바꿔 구성하는 것이 어려웠습니다.

표현이 다양해야 모델이 표현 패턴이 아니라 의도를 이해하는지를 제대로 평가할 수 있기 때문입니다. 교훈 자리에서는 Red Teaming은 창의성과 공격자의 관점으로 사고하는 능력이 중요하고, 다양한 시나리오를 상상하는 훈련이 데이터 품질을 결정한다는 걸 배웠습니다.