Playwright로 E2E 테스트 작성 — flaky 테스트 잡은 경험
약 120초
경험 중심 — UI 자동화 테스트가 CI에서만 간헐적으로 실패하던 문제
팀 프로젝트에서 Playwright로 E2E 테스트를 처음 도입하였습니다. 로컬에서는 통과하는데 CI에서 30% 확률로 실패하는 테스트가 발생하였습니다. 처음에는 환경 차이 문제인 줄 알았으나, 알고 보니 비동기 렌더링을 기다리지 않고 바로 클릭하는 것이 원인이었습니다.
page.click() 앞에 page.waitForSelector()를 추가하니 flaky 테스트가 사라졌습니다. 이후에는 명시적 대기를 사용하는 것을 팀 규칙으로 정하였습니다.
또한 테스트 케이스가 50개를 넘어가면서 한 테스트가 DB 상태를 바꿔서 다음 테스트가 실패하는 문제도 발생하였습니다. 각 테스트 전에 DB를 초기 상태로 리셋하는 beforeEach 훅을 추가하여 해결하였으나, 실행 시간이 2배 늘어났습니다. 테스트 격리와 속도 사이의 트레이드오프가 있다는 것을 이때 배웠습니다.
이 결의 특징
CI에서만 30% 확률로 실패하던 flaky 테스트를 비동기 렌더링 대기 누락으로 진단하고, 명시적 대기를 팀 규칙으로 정착시킨 흔적이 있습니다. beforeEach 리셋으로 테스트 격리와 속도의 트레이드오프까지 짚은 결이 담겨 있습니다.
이 결이 통하는 자리
환경 차이로 오해했던 원인이 실제로는 코드 문제였다는 반전이 구체적으로 드러날 때 통합니다. 격리와 속도 사이의 저울질이 실행 시간 수치로 뒷받침되는 자리에서 통하는 결이 보입니다.