OpenAI: AI 시대를 위한 스코어카드

• AI 지출의 가치는 ‘도입량’이 아니라 ‘완료한 업무’로 평가해야 한다

  • 기존 소프트웨어의 좌석 구매, 활성 사용자, 라이선스 갱신 대신 AI가 실제로 끝낸 업무를 측정

  • CFO와 기업 리더가 따져야 할 핵심은 AI가 완료한 업무의 가치가 그 생산 비용보다 빠르게 증가하는지 여부

  • 토큰당 비용만으로는 충분하지 않음

    • 저가 모델도 좋은 결과까지 여러 번의 시도, 더 긴 시간, 추가 검토가 필요할 수 있음

    • 고성능 모델은 토큰 가격이 높아도 한 번에 같은 작업을 끝내 전체 비용을 낮출 수 있음

  • 궁극적인 지표는 달러당 유용한 지능(Useful Intelligence per Dollar): 중요한 업무의 완료 여부, 성공한 작업당 비용, 결과의 신뢰성, 사용량 증가에 따른 가치 개선을 함께 측정

1. 완료된 유용한 업무

• 토큰이 실제 업무 성과로 전환됐는지부터 측정

  • 고객 문제 해결, 배포된 코드 변경, 검토된 계약, 절약된 시간, 적시에 제공된 맥락으로 개선된 의사결정 등이 대상

  • 모델의 역량이 높아질수록 맥락 유지, 다단계 추론, 여러 도구 활용, 진행 중 적응이 필요한 더 길고 복잡한 작업을 맡을 수 있음

• 하나의 워크플로에서 ‘완료’의 기준을 정하고 실제 업무 시스템에서 결과를 추적

  • 지원팀은 고객 문제 해결, 엔지니어링팀은 테스트를 통과한 코드 변경, 법무팀은 정확하고 기한 내 마친 계약 검토가 기준이 될 수 있음

  • 재무팀의 예측 검토 준비에는 최신 예측 찾기, Excel 또는 Sheets로 데이터 이동, 변경점 파악, 탭 대조, 슬라이드 재작성, 수치 검증 등이 포함

    • ChatGPT Work가 이 과정의 상당 부분을 맡으면 팀은 ‘무엇이, 왜 바뀌었고 다음에 무엇을 해야 하는가’에 집중 가능

  • 결과적으로 더 많은 업무를 더 빨리 끝내고, 사람은 판단·창의성·전문성에 더 많은 시간을 투입

2. 성공한 작업의 실제 비용

• 작업당 비용은 모델 가격뿐 아니라 성공적인 결과에 도달하는 전체 비용으로 계산

  • 짧은 답변은 연산량이 적지만 코딩·연구·재무 워크플로는 심층 추론, 도구 사용, 다수의 동작이 필요해 더 많은 연산을 쓸 수 있으며 그만큼 더 큰 가치도 창출 가능

  • 모델 수준에서는 가격, 사용한 연산량, 정답 도달 확률이 좌우하고 기업 수준에서는 직원 시간, 사람의 검토, 재시도, 재작업까지 포함

  • 계산 방식

    • 업무 완료에 든 전체 비용을 합산

    • 요구 품질 기준을 충족한 작업 수를 집계

    • 전체 비용을 성공한 작업 수로 나눔

• 가장 낮은 토큰 가격이 항상 가장 낮은 결과 비용으로 이어지지는 않는다

  • 프런티어 모델이 한 번에 올바른 답을 내놓으면 일상적인 요청에서도 재시도, 지연, 검토, 총연산량을 줄여 더 나은 가치를 제공할 수 있음

  • 지난주 출시된 GPT‑5.6은 세 등급으로 구성

    • Sol: 플래그십 모델

    • Terra: 성능과 비용의 균형

    • Luna: 가장 빠르고 저렴한 모델

  • 전체 작업의 경제성에 따라 고속·대량 워크플로에는 Luna, 더 깊은 작업에는 Terra, 강한 추론으로 시도 횟수를 줄여야 할 때는 Sol을 선택할 수 있음

• GPT‑5.6은 토큰당 더 많은 유용한 업무를 수행하도록 훈련

  • Artificial Analysis Coding Agent Index에서 최대 추론을 적용한 GPT‑5.6 Sol은 다른 선도 모델보다 출력 토큰을 54% 적게 사용하면서 최고 기록을 세움

  

  • DeepSWE v1.1 장기 엔지니어링 작업에서는 GPT‑5.6 Sol이 72.7%로 Claude Fable 5의 69.9%를 넘어섰고, 추정 API 비용은 36.2% 낮음

  • GPT‑5.6 제품군의 공통 목표는 달러당 성공한 업무 확대

    • 효율 향상은 기존 작업의 비용을 낮춤

    • 역량 향상은 이전에는 불가능했던 새로운 유형의 작업을 가능하게 함

  • 새 모델 세대마다 더 가치 있는 업무를 수행하는 동시에 작업당 완료 비용도 계속 낮춰야 함

3. 결과의 신뢰성

• AI 활용은 초안 작성에서 맥락 탐색과 도구·데이터 기반 추론을 거쳐 행동과 워크플로 완료로 심화

  • 시간이 지나면 예외 처리와 실행까지 맡되, 필요한 지점에서는 사람이 판단하고 통제

  • 단계가 높아질수록 창출 가치는 커지고 시스템에 요구되는 수준도 상승

• 정확하고 출처가 명확하며 일관된 결과와 적절한 에스컬레이션은 직접적인 경제적 가치가 있다

  • 검토·수정·반복 시간이 줄어 성공한 작업의 비용이 낮아지고, 조직은 더 중요한 워크플로에 AI를 투입할 자신감을 얻게 됨

  • 팀이 추적할 세 가지 결과

    • 바로 사용 가능: 전달된 결과가 품질 기준을 충족

    • 수정 필요: 재시도나 사람의 편집이 필요

    • 에스컬레이션 필요: 사람이 개입해 업무를 마무리

  • 모델 정확도만 보는 것보다 AI가 프로젝트 완료에 필요한 업무를 실제로 줄였는지 더 구체적으로 보여주는 지표

• 초안 작성을 넘어 실행까지 맡기기 전에 명확한 경계를 설정해야 한다

  • 시스템이 접근할 수 있는 데이터, 사용하거나 변경할 수 있는 시스템, 사람의 검토·승인이 필요한 시점을 사전에 정의

  • 안전, 보안, 개인정보 보호, 통제가 더 깊은 활용의 기반이며 시스템 행동, 데이터 처리 방식, 행동 관리 체계를 사용자가 이해할 수 있어야 함

  • ChatGPT Work는 ChatGPT Enterprise의 보안, 개인정보 보호, 규정 준수, 워크스페이스 관리 기반을 활용

    • 조직이 적절한 감독을 유지하면서 AI에 더 많은 맥락과 가치 높은 워크플로 접근 권한을 제공하도록 지원

  • 역량이 첫 사용을 이끌고, 신뢰성이 AI를 일하는 방식의 일부로 정착시킴

4. 규모가 커질수록 개선되는 경제성

• 같은 워크플로의 품질 충족 작업 수, 총완료 비용, 성공한 작업당 비용을 시간에 따라 추적

  • 품질이 유지되거나 향상되는 가운데 완료 업무가 총비용보다 빠르게 늘면 AI에 지출한 달러당 가치가 증가한 것

• 연산 자원은 연구와 모든 AI 작업의 중심이며 품질·속도·신뢰성·가용성·비용을 좌우

  • 학습 연산은 미래 역량을 만들고, 추론 연산은 현재의 유용한 업무를 제공하며 둘 다 고객의 더 나은 결과로 이어져야 함

  • 더 나은 모델, 효율적인 추론, 전용 하드웨어, 높은 활용률, 지능적인 라우팅, 강화된 제품 설계가 연산 자원의 수익성을 개선

    • 새 인프라 세대는 더 강력한 모델의 학습을 지원

    • 향상된 알고리즘·하드웨어·소프트웨어는 해당 모델을 더 효율적으로 제공

  • 고객은 더 좋은 답변, 빠른 결과, 적은 수정, 높은 신뢰성, 낮은 업무 비용으로 개선을 체감

• 인프라·연구·모델·제품·성장의 개선 효과는 누적된다

  • 더 나은 인프라가 연구를 가속하고, 연구는 더 강력하고 효율적인 모델을 생산하며, 모델 개선은 제품 향상으로 연결

  • 제품 향상은 도입·학습·매출을 늘리고, 그 성장은 차세대 연구·연산·배포·안전에 대한 지속적인 투자를 뒷받침

  • OpenAI는 이를 하나의 공유 지능 플랫폼으로 결합

    • 사용자는 ChatGPT와 ChatGPT Work를 이용

    • 개발자는 Codex와 API로 구축

    • 기업은 실제 업무가 이뤄지는 시스템에 배포

  • 한 계층의 개선이 모든 제품과 고객에게 혜택을 줄 수 있는 구조

• 네 가지 지표를 함께 봐야 달러당 유용한 지능의 개선 여부를 판단할 수 있다

  • 유용한 업무는 AI가 생산한 결과, 성공한 작업당 비용은 결과에 도달하는 데 필요한 자원, 신뢰성은 사람이 안심하고 사용할 수 있는 업무의 비율, 규모별 가치는 달러와 연산 단위당 성과가 시간에 따라 개선되는지를 나타냄

  • 목표는 사람들이 더 의미 있는 업무와 더 나은 의사결정을 수행하고, 인간 고유의 판단과 창의성이 필요한 일에 더 많은 시간을 쓰도록 돕는 AI

  • 모델 세대가 바뀔 때마다 역량, 속도, 신뢰성을 높이고 고객이 필요한 업무의 비용을 낮춰 더 많은 사람과 조직에 AI의 효용을 확대함

^{source https://openai.com/index/a-scorecard-for-the-ai-age}