LLM Agent Engineering을 하는 당신을 위한 Tip들

최근 LLM을 활용한 Agent 서비스를 구축하며 얻은 몇 가지 팁을 공유한다.

AI를 쓰거나 ‘바이브 코딩’을 하면 모든 문제가 해결될 것처럼 느껴질 수 있으나 실제 현업에서는 그렇지 않은 경우가 많다. Agent를 통한 업무 자동화를 구축한 뒤 업무 완수율을 측정해 보면, 20% 혹은 30% 수준으로 굉장히 낮은 결과가 나오는 경우도 빈번하다.

다음은 LLM을 활용한 엔지니어링을 하며 반드시 고민해야 하는 사고 프레임워크다.

1.업무를 작게, 충분히 더 작게 쪼개라.

LLM의 컨텍스트 길이가 늘어났다고는 하지만, 많은 양의 정보를 한 번에 처리하게 되면 수행 능력은 오히려 떨어진다. 수행하고자 하는 업무가 명확한 input → output 단위로 쪼개질 수 있는지를 확인하고 가능하다면 쪼개어라. 병렬로 진행할 수 있는 작업(너무 긴 정보 등) 도 마찬가지로 작은단위로 나누어 처리하라.

2.쪼갠 단위의 태스크에 대해 명확한 성능 지표를 설정하라.

해“해봤더니 잘 돼요”, “결과가 더 좋아졌어요” 같은 말은 실무에서 아무 의미가 없다. 어떤 지표가, 얼마나 좋아졌는지가 명확하게 드러나야 한다. 너무 당연한 것 아니야? 라고 생각할 수도 있지만 실제 현업에서는 여러 제약 때문에 여전히 눈으로 판단하거나 Human Evaluation에 의존하는 경우가 많다.

귀찮더라도 작은 단위의 테스트셋을 구축하고, 그에 맞는 성능 지표를 설정하라. 어렵다면 LLM-as-a-Judge를 활용하자. LLM이 이 정도로 발전한 지금, 사람만이 평가할 수 있는 업무는 거의 없다.

3.LLM 만이 정답이 아님을 명심하라.

LLM 은 모든 Input 에 대해 내가 원하는 Output 을 내어 주는 Magic Box 이다(이론상). 하지만 항상 LLM이 최선의 선택은 아니다. LLLM은 비용이 발생하고, 수 초 이상의 지연이 있으며, 결과 또한 항상 일정하지 않다. 만약 컴퓨팅 알고리즘으로 동일한 로직을 처리할 수 있고, 충분한 성능 지표가 나온다면 그 방식이 더 바람직하다.

같은 맥락에서, 가장 성능이 좋은 LLM이 항상 정답도 아니다. 더 가볍고 저렴하며 빠른 sLLM으로도 충분히 처리 가능한 태스크라면, sLLM을 사용하는 것이 훨씬 합리적이다.

4.Seed 를 고정하고 비교군과 대조군을 명확히 설정하라.

성능을 개선하는 과정에서는 새로운 아이디어를 제시하고 검증하는 일을 반복하게 된다. 이때 Agent의 성능 평가는 ‘감’이 아니라 ‘실험 설계’의 영역이다. 새로운 Prompt, 새로운 구조, 새로운 Tool 사용 방식 등을 제안할 때는 랜덤성과 같은 모든 변수를 통제한 상태에서, 기존 방식보다 성능이 우수함을 증명해야 한다.

5.실패 케이스를 수집하고, 테스트 구조를 자동화하라.

Vibe Coding의 시대가 오면서 한때 유행했던 TDD가 사라지고 있다는 이야기가 들리기도 한다. 하지만 AI Agent 기반 업무 자동화에서는 이는 전혀 사실이 아니다. 오히려 LLM은 한줄의 프롬프트만으로 결과가 크게 바뀔 수 있는 만큼 테스트가 더욱 중요하다. 전체 Agent Workflow가 수행해야 하는 업무 목록과 처리되어야 하는 케이스를 세분화해 두고, 이를 언제든지 실행할 수 있는 테스트 환경을 구축해야 한다. 또한 실패 케이스를 지속적으로 수집하여 테스트 케이스에 반영해야 한다.

LLM이 사람보다 똑똑해진 지금, AI Agent로 업무 자동화를 구현하는 것 자체는 더 이상 당신만의 헤자가 아니다. 누구라도 바이브코딩으로도 Workflow를 구현한 앱을 만들 수 있다.

당신이 가져야 할 경쟁력은, 그 업무 자동화가 만들어내는 ‘성능’의 고도화다. 이것이 LLM Engineering과 Context Engineering의 핵심이다. 수많은 Agent와 LLM들이 PPT를 만들어주지만, 실제 시장의 선택을 받은 것은 Genspark였던 것 처럼 말이다.

누군가에게는 너무 당연한 이야기처럼 보일 수 있지만, 의외로 이 원칙들을 모두 지키며 엔지니어링을 하는 사람은 많지 않다. 만약 Agent 구축 관련 컨설팅을 하게 된다면, 아마 아래 항목들을 하나하나 체크하지 않을까 싶다.