이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
게임 에이전트 학습 프로젝트에서 Behavior Cloning을 처음 적용했습니다. 사람이 플레이한 데이터를 수집해 상태 → 행동 매핑을 지도학습으로 훈련했는데, 익숙한 상태에서는 전문가와 비슷한 행동을 잘 재현했습니다. 문제는 전문가 데이터에 없는 상태에 들어가면 에이전트가 어떻게 행동해야 할지 몰라 오류가 누적되는 distribution shift 현상이었습니다. 단순히 데이터를 더 늘리는 것보다 DAgger처럼 에이전트가 방문하는 상태에서도 전문가 피드백을 받는 방식이 이 문제를 근본적으로 다룬다는 걸 배웠습니다. BC는 초기 정책을 빠르게 만드는 데는 효과적이지만, 정밀 제어가 필요한 장기 과제에는 RL과 결합이 현실적이라고 봅니다.
Behavior Cloning을 적용하면서 학습 데이터의 품질이 정책 성능에 직접 영향을 준다는 것을 경험했습니다. 전문가 데이터라고 생각했던 시연 데이터에 일관성이 없는 부분이 있었는데, 같은 상황에서 다른 행동을 선택한 경우가 섞여 있었습니다. 이 데이터로 학습한 정책은 일관되지 않은 패턴을 그대로 흡수해서 특정 상황에서 예측하기 어려운 행동을 하는 경우가 생겼습니다. 데이터를 수집하는 단계에서 일관성 없는 시연을 걸러내거나 동일한 상황에서의 행동이 일관되도록 데이터 품질을 관리하는 것이 중요하다는 것을 배웠습니다. BC는 데이터를 그대로 학습하기 때문에 데이터에 있는 나쁜 패턴도 함께 학습한다는 특성이 있고, 좋은 정책을 얻으려면 알고리즘만큼이나 데이터 품질 관리가 중요하다는 것을 이 경험에서 배웠습니다.
Behavior Cloning으로 초기 정책을 만들고 강화학습으로 미세조정하는 방식을 시도한 경험을 공부하면서 이해하게 됐습니다. BC로 전문가 행동을 모사하는 초기 정책을 빠르게 만들고, 그것을 출발점으로 RL을 적용하면 처음부터 RL을 학습하는 것보다 빠르게 수렴하는 경우가 있다는 것을 배웠습니다. BC 초기 정책이 탐색 공간을 좁혀주기 때문에 RL이 처음부터 무작위로 탐색하는 것보다 효율적이었습니다. 다만 BC 정책이 특정 패턴에 강하게 치우쳐 있으면 RL이 그 패턴에서 벗어나는 방향을 충분히 탐색하지 못하는 경우도 있었습니다. BC와 RL의 조합은 두 방법의 장점을 취할 수 있지만, BC 초기 정책의 편향이 RL 탐색에 영향을 줄 수 있다는 점도 함께 고려해야 한다는 것을 이 경험에서 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 현대자동차 MLOps 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.