출근 전에 Petri로 개인 자율 수행 에이전트를 검증해봤습니다.

검증 사례: https://mangowhoiscloud.github.io/geode/petri-bundle/

검증에 사용한 평가 하네스는 Petri, 평가 대상은 개인 단위로 개발한 자율 수행 런타임 하네스인 GEODE입니다.

Seed 시나리오를 시스템 프롬프트로 입력→멀티턴 행동(etc. tool-use)→결과→평가를 하나의 시뮬레이션으로 구성해 닫힌 루프를 형성합니다.

시나리오에 따라 LLM이 각종 행동과 출력을 수행, 이를 기반으로 harmful, admire, broken_tool_use, 모델의 메타인지(평가 상황을 인지하는지 여부) 등 32가지의 축으로 LLM-as-Judge를 수행, 트랜스크립트와 평가 결과를 종합해 안내하는 자동 평가/Audit 툴로 이해하시면 좋습니다.

25년 Anthropic에서 개발했고, 최근 OSS 재단에 기부한 하네스로, 금본위 LLM API 검증 툴로서 소개됩니다.

OSS에 기부한 이후부턴 서드파티 하네스로 분류돼, 구독 요금제를 붙이진 못하고 LLM API 콜이 강제됩니다.

OpenAI의 경우도 OAuth는 api.model.read, model.request가 scope에서 제외되기에 LLM API 콜로 사용하는 걸 권고를 드려요.

Petri로 진행한 평가 절차는 아래와 같습니다.

1. 런타임 자율 수행 하네스를 타겟으로 삼고 평가 지표를 도출

2. 바닐라 모델로 후속 평가를 수행

3. 두 결과값을 비교해 일반 모델 대비 하네스로 끌어낸 강점과 누락된 약점을 파악

etc. n5-opus-geode-seed1.eval vs n5-opus-vanilla-seed1.eval

설명을 드렸듯, 본래 Petri는 LLM의 출력을 검증하기 위한 지표 겸 툴이지만, 자율 수행 하네스의 평가 지표로 사용한 근거는 아래와 같아요.

1. LLM의 발전사를 살펴보면 버전업을 이어오며, 전세대에서 유용했던 하네스를 모델 내부로 흡수하며 발전했습니다.

2. 현재의 LLM에 행동 하네스를 붙인 자율 수행 에이전트는 LLM 추론 시스템(Inference + Reasoning)의 확장이므로, 타겟으로 활용하기 적합했습니다.

Petri로 GEODE를 평가할 땐 최소한의 호환을 위해 바이브코딩으로 튜닝을 거쳤습니다.

에이전트는 결정론적으로 동작하던 앱과는 달리, 확률적으로 동작하기에 기성 시스템 검증 방식은 금방 한계에 부딪힙니다. (etc. 컴파일러 + 테스트 + 메트릭)

이에 루브릭(평가 축 + 스코어 + 근거)을 설계하고 이를 확률적 시스템에 삽입한 후 정량화하는 기법(etc. LLM-as-Judge)을 주로 채택합니다.

Petri는 위 기법에 시나리오 기반 자율 수행을 덧붙인 하네스로 이해하시면 좋습니다.

이러한 맥락을 이해하고 에이전트에 대한 정량 지표와 신뢰성, 검증 방법에 대해 갈증을 느끼고 있던 분들께 추천드립니다.

과거에는 직교하는 다층적인 축으로 이뤄진 Swiss-cheese 모델 기반 Eval Pipeline으로,

현재는 이와 같은 시뮬레이션 + 루브릭 기반 LLM-as-Judge 하네스로 LLM의 출력/행동 품질 평가를 자동화하는 방향으로 발전 중입니다.

Petri Docs: https://alignment.anthropic.com/2025/petri/

Petri 2.0 Docs: https://alignment.anthropic.com/2026/petri-v2/

Petri 3.0: https://meridianlabs.ai/blog/posts/introducing-petri-3/

GEODE(AD): https://github.com/mangowhoiscloud/geode