OpenAI CEO 샘 알트먼, AI 토큰 비용이 이제 '큰 문제'라고 인정

• OpenAI CEO 샘 알트먼, 기업들이 AI 사용 비용 급증을 본격적으로 문제 삼기 시작했다고 인터뷰에서 언급

  • Intelligence at Work 행사에서, OpenAI 고객들이 이 문제를 제기한 것은 이번이 처음이라고 설명

  • 이에 맞춰 모델 효율을 높이는 방안을 찾고 있다고 밝힘

• 무대에서 나온 알트먼의 설명

  • 이제는 "우리 회사가 2026년 예산 전체를 1분기에 다 써버렸다. 더 효율적으로 만들 수 없느냐"는 반응이 밈처럼 돌고 있다고 말함

  • 연초만 해도 고객들은 지출 수준에 전혀 불만이 없었는데, 갑자기 큰 문제로 바뀌었다고 짚음

  • 모델 측면에서 계속 개선 중이며, 더 적은 비용으로 더 큰 가치를 얻도록 도울 방법이 많이 나올 것이라고 봄

• 최근 기업들이 "tokenmaxxing"을 실험하면서 거액의 AI 청구서를 맞는 사례가 잇따름

  • 일부 경영진은 AI 사용이 직원 생산성을 높이고, 그 결과 매출도 늘릴 것이라고 기대

  • Nvidia CEO 젠슨 황은 엔지니어들이 연봉의 최소 절반어치에 해당하는 AI 토큰을 써야 한다고 말했고, 그렇지 않으면 자신은 "deeply alarmed"할 것이라고 했음

  • OpenClaw 제작자 Peter Steinberger의 팀도 한 달 동안 OpenAI API 토큰에 130만 달러를 지출했고, 총 사용량은 6,030억 토큰이었음

• 이런 흐름이 일부 기업에는 역효과로 돌아가기 시작한 모습

  • Amazon 직원들은 사내 AI 리더보드에 남기 위해 불필요한 작업에도 AI 에이전트를 사용했다고 인정

  • Microsoft는 비용 증가 때문에 Claude Code 라이선스를 줄였다고 전해짐

  • Uber CEO도 AI에 전면적으로 투자하는 것과 성공적인 제품 출시 사이에는 아직 연결고리가 없다고 인정

• 그럼에도 알트먼은 AI 토큰 사용량 자체는 계속 늘어날 것으로 봄

  • 6년 반 전에는 OpenAI에서 가장 많이 쓰는 고객이 월 10만 토큰 수준이었음

  • 지금은 그 수치가 전 세계 1인당 평균 토큰 사용량이라고 말함

  • 현재 OpenAI 최다 사용자는 월 약 1,000억 토큰을 쓰고, 알트먼도 민망하게 여겼지만 그보다 더 많이 쓰는 사람도 있다고 덧붙임

  • 토큰 사용량이 선형으로 증가한다면, 전 세계 1인당 월 1,000억 토큰 수준까지 갈 수 있다고 예상

• 다만 이런 전망은 토큰 가격 하락 속도가 전 세계 토큰 사용량 증가 속도보다 더 빠르다는 가정이 깔린 것으로 보임

  • 현재는 AI 모델을 돌리는 비용이 사람을 고용하는 것보다 더 비싸다는 판단도 나오고 있음

• 이는 제본스의 역설(Jevons paradox)임

  • 특정 자원이 더 싸질수록 사용량은 더 늘어남

  • AI에서도 비슷한 현상이 나타나고 있지만, agentic AI가 더 대중화되고 정교해질수록 토큰 사용량은 기하급수적으로 늘고 있음

  • 그 증가 속도가 AI 연구소들이 학습과 추론에서 만들어내는 효율 개선 폭을 앞지르고 있음

^{source https://www.tomshardware.com}