이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
Vision-Language-Action 모델 학습을 위한 데이터를 구축할 때 가장 중요하게 생각한 것은 작업 시연 데이터의 다양성이었습니다. 같은 작업을 다양한 조명·위치·방향에서 수집해야 환경 변화에 강건한 정책 학습이 가능했고, 단조로운 데이터로는 일반화가 잘 되지 않았습니다.
비전 입력과 언어 지시, 행동 레이블을 동기화하는 것이 핵심 기술 과제였습니다. 타임스탬프 기반으로 카메라 프레임, 언어 명령, 로봇 상태를 정렬하는 파이프라인을 구성했고, 동기화 오류가 1프레임만 어긋나도 학습 품질이 크게 떨어졌습니다.
데이터 품질 필터링도 별도로 수행했습니다. 수집된 시연 중 작업 실패나 이상 행동이 포함된 시퀀스를 자동으로 검출해 학습에서 제외했습니다. 노이즈가 많은 시연을 학습 데이터에 포함하면 정책이 잘못된 패턴을 학습하는 문제가 생겼기 때문입니다.
VLA 모델에서 가장 설계 결정이 어려웠던 것은 연속적인 로봇 관절 값을 언어 모델과 동일한 공간에서 다루는 방법이었습니다. 비전은 ViT로 이미지를 패치 단위로 쪼개 임베딩하면 자연어 토큰과 같은 시퀀스로 처리할 수 있었지만, 관절 각도나 그리퍼 상태 같은 연속값을 직접 쓰면 언어 토큰과 스케일이 달라 학습이 불안정해졌습니다. 행동값을 일정 구간으로 나눠 이산 토큰으로 양자화하니, Transformer가 행동을 언어처럼 다음 토큰 예측 방식으로 출력하는 구조가 됐습니다. 양자화 구간 수를 너무 거칠게 잡으면 정밀 동작이 뭉개지는 문제가 있어, 태스크별로 필요한 해상도에 맞게 구간 수를 조정하는 과정이 필요했습니다.
VLA 학습에서 데이터 품질보다 더 다루기 어려웠던 것은 인간 시연 데이터에 담긴 편향이었습니다. 한 명의 작업자가 수집한 데이터로만 학습하니, 물체를 잡을 때 항상 같은 방향에서 접근하는 습관이 그대로 정책에 흡수됐습니다. 물체의 방향이 조금만 달라져도 실패율이 높아졌고, 처음에는 모델 문제인 줄 알았습니다. 다양한 작업자의 시연을 추가하고 Domain Randomization으로 물체 위치·방향을 무작위화하니 일반화 성능이 올라갔습니다.
시연 데이터는 많을수록 좋은 게 아니라 다양할수록 좋다는 것을 이 경험으로 배웠습니다. 수집 단계에서 다양성을 설계하지 않으면 학습 이후에 고치기 어렵다는 점이 VLA 데이터 구축에서 가장 중요한 원칙이 됐습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 현대자동차 MLOps 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.