기획자를 위한 AI 설계 4부작 ① 가드레일 — AI에 브레이크 달기
생성형 AI가 제품의 핵심 로직으로 들어오면서 기획자들이 화면과 기능 명세서를 넘어 AI를 제어하기 위한 추가 스펙을 정의해야 하는 상황이 발생했는데요, 이 글은 AI 서비스 기획의 4대 핵심 요소 중 첫 번째인 '가드레일'을 심층 분석한 글이네요.
AI서비스 기획 시에 참고해보면 좋을 것 같습니다. 🙂
가드레일의 핵심 개념
• 가드레일은 'AI가 하면 안 되는 것을 못하도록 모델을 감싸는 안전장치'로, 단순 프롬프트 지시를 넘어 3겹의 방어선으로 구성된다
• 카페 직원 비유를 통해 이상한 요청에 대응하는 메커니즘을 설명
가드레일의 3중 방어 구조
• 1층 프롬프트: 직원에게 응대 매뉴얼을 제공하는 방식으로 가장 빠르고 유연하지만 우회하기 쉬운 가장 약한 방어선
• 2층 모델 튜닝: 반복 훈련을 통해 모델 체질을 근본적으로 변화시키는 방식으로 시간과 비용이 많이 소요되지만 모범 사례를 학습(지도 파인튜닝)하거나 좋은 답에 상, 못한 답에 벌을 주는 선호학습 방식 활용
• 3층 가드레일 API: 메인 모델과 분리된 전담 검사 모델로 입력 검사와 출력 검사 2단계 구성. OpenAI Moderation API, 카카오 Kanana-Safeguard, Google ShieldGemma 등이 카테고리별 위험도 점수(0~1)를 제공
기획자의 역할
• 프롬프트 겹: 어떤 요청을 거절할지, 거절 시 응답 문구와 서비스 톤 정의
• 모델 튜닝 겹: '올바른 정답' 기준 설정 및 좋은/나쁜 답 예시 정의
• 가드레일 API 겹: 입출력 단계 정책 설계, 임계값(커트라인) 결정(예: 자해 점수 0.5 vs 0.9), 카테고리별 차등 대응, 차단 외 대체 옵션 검토
운영 단계 지원 업무
• 과차단(over-refusal) 관리: 정상 질문까지 차단하지 않는지 모니터링
• 레드티밍 지원: 실제 서비스 특유의 공격 시나리오 제공
• 재학습 루프 지원: 뚫린 사례 수집 및 우선순위 설정
OpenAI Moderation API 실전 예시에서 API는 flagged 여부와 category_scores를 반환하며, 기획자는 이를 절대적 차단 명령이 아닌 해석 재료로 활용해야 한다. 예를 들어 자해(self-harm) 0.87점이 임계치 0.7을 넘으면 차단하되, 점수가 애매한 회색지대는 차단 vs 통과 이분법이 아니라 사람 담당자 검토, 응답 순화 등 다층적 대응을 설계한다.
자세한 내용은 아래에. 🙂
