이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
QA에 AI를 처음 도입한 건 테스트 케이스 초안 자동 생성이었습니다. 요구사항 문서를 LLM에 넣고 경계값, 예외 케이스 위주의 시나리오 목록을 뽑아냈는데, 사람이 놓치기 쉬운 엣지 케이스를 여러 개 잡아냈습니다. 전체 결과를 그대로 신뢰하기는 어려워서 생성 결과를 검수하는 단계를 두었고, 실제 작성 시간은 약 40% 단축됐습니다. 회귀 테스트 우선순위 결정에도 활용했는데, 최근 변경 코드와 과거 버그 리포트를 입력해 영향 범위가 겹치는 테스트를 먼저 실행하는 방향으로 개선했습니다. AI가 생성한 케이스를 무검토로 믿기는 어렵지만, 초안 생성과 우선순위 제안 역할로는 충분히 실용적이라고 봅니다.
AI를 활용해 테스트 케이스 초안을 자동 생성했을 때, 생성된 케이스 중 실제로 사용할 수 있는 비율이 어느 정도인지를 직접 측정해본 경험이 있습니다. 처음 도입했을 때 생성된 케이스를 모두 검토하는 데 드는 시간과 직접 작성하는 시간을 비교했는데, 생성 케이스의 품질이 낮으면 검토 비용이 절감 효과를 상쇄한다는 것을 알게 됐습니다. 요구사항 문서의 구체성과 AI 생성 케이스의 품질 사이에 상관관계가 있었는데, 요구사항이 명확하고 구체적일수록 사용 가능한 케이스 비율이 높았습니다. 이 측정 결과를 바탕으로 어떤 조건에서 AI 생성을 활용하고 어떤 경우에는 직접 작성하는 것이 더 효율적인지를 팀 내에서 기준으로 정리했습니다. AI 도구 도입 효과는 체감이 아니라 실제 비교 측정을 해봐야 어떤 상황에서 얼마나 유효한지를 파악할 수 있다는 것을 이 경험에서 배웠습니다.
AI를 활용해 회귀 테스트 우선순위를 결정하는 방식을 적용하기 전과 후에 버그를 탐지하는 데 걸리는 시간이 어떻게 달라졌는지를 비교한 경험이 있습니다. 이전에는 전체 회귀 테스트를 순서대로 실행했는데, 변경 코드와 관련성이 낮은 테스트까지 실행하느라 전체 시간이 길어졌습니다. AI로 최근 변경 내역과 과거 버그 이력을 입력해서 관련성이 높은 테스트를 앞에 실행하는 방식으로 바꾸니, 같은 시간 안에 더 많은 관련 테스트가 실행되면서 버그를 더 빠른 단계에서 발견하는 경우가 늘었습니다. 다만 AI가 관련성을 잘못 판단해서 중요한 테스트가 뒤로 밀리는 경우도 있었는데, 우선순위 모델의 판단을 그대로 따르기보다 사람이 검토하는 단계를 유지하는 것이 필요했습니다. AI 활용이 QA 효율을 높이는 데 도움이 됐지만, 완전히 자율화하기보다 사람의 판단과 함께 작동하는 방식이 더 안전하다는 것을 이 경험에서 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 CJ올리브영 품질보증 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.