AI가 QA를 어느 정도까지 대체할 수 있을지 궁금해서 실험을 해보고 있습니다.

실무에서 매번 배포 후

- 버튼 눌러보고

- 페이지 이동 확인하고

- 폼 입력 한번씩 해보는 작업을 반복하다 보니,

이 정도 반복 작업은 자동화가 더 낫지 않나라는 생각이 들었습니다.

Playwright 같은 브라우저 자동화 도구를 쓰면 정해진 시나리오는 꽤 안정적으로 돌릴 수 있는데, 문제는 시나리오 작성과 유지보수 비용이더군요.

그래서 최근에는

- 사람이 자연어로 시나리오를 쓰고

- 그걸 기반으로 테스트를 실행하는 방식이

현실적으로 의미가 있을지 고민 중입니다.

혹시 실제 QA 자동화나 Playwright / Cypress / Selenium 등을 운영해보신 분들,

"여기까지는 사람, 여기부터는 자동화"라고 느끼셨던 기준이 있으신가요?

운영하면서 가장 힘들었던 포인트도 궁금합니다.