이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
두 접근의 핵심 차이는 학습 신호의 출처라고 이해하고 있습니다. 모방학습(Imitation Learning) 은 전문가 데이터를 보고 같은 행동을 흉내내는 방식이라, 보상 설계 없이 시작할 수 있다는 장점이 있습니다. 반면 강화학습(RL)은 환경과 상호작용하며 보상을 최대화하는 방향으로 학습해, 전문가 데이터 없이도 최적 정책을 탐색할 수 있습니다. 직접 구현한 건 Behavior Cloning 방식이었는데, 전문가 분포를 벗어나는 상황에서 오류가 누적되는 compounding error 문제를 경험했습니다. 두 방법을 결합한 DAgger 같은 접근이 실용적인 이유도 그 경험을 통해 이해하게 됐습니다.
두 방법 중 저는 데이터가 있는 상황이라면 모방학습으로 초기 정책을 만든 뒤 강화학습으로 개선하는 방식을 선호합니다. 강화학습 단독으로 처음부터 시작하면 초기 탐색 비용이 너무 크고 안전하지 않은 행동이 먼저 나오는 경험을 했기 때문입니다.
모방학습으로 전문가 시연을 먼저 학습시키면 초기 정책이 이미 "그럭저럭 작동하는 수준"에서 시작합니다. 이후 강화학습으로 fine-tuning하면 전문가가 커버하지 못한 상황까지 점진적으로 확장할 수 있었습니다.
이 경험으로 두 방법은 경쟁이 아니라 순서가 있는 도구라는 걸 배웠습니다. 처음부터 강화학습만 쓰는 것보다 모방으로 시작점을 만드는 것이 실제로 효율적이었습니다.
모방학습 중에서 Behavioral Cloning을 써봤을 때 훈련 분포 바깥의 상황에서 성능이 급격히 떨어지는 경험을 했습니다. 훈련 데이터에 없는 방향에서 입력이 들어오면 에이전트가 엉뚱한 행동을 선택하는 covariate shift 문제가 생겼습니다.
이 한계를 인식하고 DAgger처럼 실행 중 전문가 개입으로 추가 데이터를 수집하는 방향을 탐색했습니다. BC의 분포 외 취약성을 줄이려면 온라인으로 데이터를 보완하는 루프가 필요하다는 걸 알게 됐습니다.
이 경험으로 모방학습은 수집된 전문가 데이터의 품질과 범위에 성능이 크게 달려 있고, 그것이 가장 큰 한계라는 걸 배웠습니다. 데이터가 커버하지 않는 상황은 학습이 안 됩니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 현대자동차 MLOps 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.