잘 쓴 문서가 AI한테 스킵당하는 이유
UX라이팅봇의 성능 저하 원인을 분석한 결과, 기술 문제가 아닌 '문서 작성 방식' 문제임을 발견했습니다. 라우팅은 정확하지만 의도를 빗겨나간 결과물들이 나오는 현상을 추적한 결과, AI가 문서를 읽는 방식이 인간과 근본적으로 다르다는 점을 깨닫게 되었습니다.
AI 문서 해석의 핵심 특성:
• AI는 문서를 통째로 소화하지 못함: 한 번에 처리할 수 있는 정보량이 제한되며, 긴 문서의 중간 내용은 Lost in the Middle 현상으로 흐릿하게 처리됨
• 매 요청마다 새로 읽음: 신입사원처럼 매번 처음 보는 문서처럼 접근하므로 내용을 기억하거나 내면화하지 않음
• 행간을 맥락으로 채우지 못함: '적절히', '자연스럽게' 같은 모호한 표현은 평균값으로만 해석됨
실제 개선 사항:
• Manifest 구조 도입: always_load, load_when, reference_priority로 로딩 규칙을 기계어로 명시
• 첫 줄 명사구 통일: 인트로를 '이 안에 무엇이 들어있는지 알려주는 색인 카드'로 기능하게 변경
• 조건문으로 변환: 추상적 지시를 구체적 수치나 조건으로 정의 (예: '40자 이내', '해요체 통일')
• 판단 트리 구축: 띄어쓰기 규칙처럼 예외가 있는 규칙을 순차적 의사결정 구조로 변환
• 평가(Eval) 체계화: 봇 결과물과 승인된 문구의 쌍 샘플을 수집하고, 반복 패턴만 규칙으로 승격
Anthropric의 컨텍스트 엔지니어링 원칙에 따르면, AI용 최적 입력은 '최소 개수의 고신호 토큰'입니다. 이는 짧은 문서가 아닌 '군더더기 없는 문서'를 의미합니다. 실제 운영 결과, 규칙화 작업 이후 AI의 의도 해석도가 상당히 향상되었으며, 검수 리소스도 감소했습니다. 다만 모든 것을 규칙화하면 일회성 이벤트가 전체에 영향을 주므로, 반복 패턴에만 선택적으로 규칙화하는 균형이 중요합니다.
요약이 아닌 구체적인 내용이 궁금하시다면.
