AI 에이전트를 오래 돌릴수록 품질이 좋아지게 만들려면 무엇이 필요할까요?
AI에게 초안을 맡겨도 결국 사람이 읽고 수정 방향을 다시 입력하는 과정이 병목이 되는 경우가 많습니다.
이 과정을 줄이는 방법으로 루프 엔지니어링을 정리해봤습니다. AI가 한 번 답하고 끝나는 것이 아니라 실행, 관찰, 판단, 수정을 반복하면서 목표에 수렴하도록 워크플로우를 설계하는 방식입니다.
중요한 건 단순히 반복 횟수를 늘리는 것이 아니었습니다.
- 결과를 만드는 Actor와 검수하는 Critic을 분리하기
- ‘보기 좋게’ 대신 테스트 통과율이나 오탈자 수처럼 측정 가능한 목표 사용하기
- 이전 시도와 실패 원인을 다음 반복에 전달하기
- 복사본이나 샌드박스에서 실행하기
- 최대 반복 횟수, 비용, 타임아웃 설정하기
- 배포·결제·삭제 같은 고위험 작업에는 사람 승인 두기
예시 안전 기준으로 최대 5회, 루프당 1달러, 300초를 설정하고 초과하면 사람에게 제어권을 넘기는 방식도 함께 정리했습니다.
반복적이고 성공 여부를 체크리스트나 수치로 평가할 수 있는 업무부터 적용하는 것이 적합해 보입니다.
21장으로 전체 내용을 정리했습니다.
개발 업무에서는 어느 단계까지 AI의 자율 수정을 허용하고 계신가요?
