AI 비용 위기

• 많은 기술 기업이 직원들에게 AI 도구 사용을 밀어붙이며 생산성 향상을 노렸지만, 그 시도가 되레 비용 문제로 역풍을 맞는 중

  • The Verge에 따르면, Microsoft는 직원들에게 Claude Code 대신 자사 Copilot CLI로 옮기라고 압박한 것으로 전해짐

  • 표면적 이유는 외부 도구보다 내부 도구를 쓰려는 방향이지만, 소식통들은 더 본질적인 이유로 Claude Code 사용 비용이 이용자 증가와 함께 꾸준히 불어났다고 전함

• 이런 후퇴는 Microsoft만의 일이 아님

  • Fortune에 따르면 다른 기업들도 AI 사용을 다시 축소하기 시작함

  • AI 모델 학습 비용은 내려가며 토큰 단가도 더 저렴해지고 있지만, 실제 업무에서는 사람들이 토큰을 훨씬 더 많이 쓰기 시작한 것이 문제

  • 특히 에이전트형 AI는 지시를 완료하기까지 필요한 단계 수에 따라, 일반적인 LLM 질의보다 최대 1000배 많은 토큰을 소모할 수 있음

  • OpenClaw 제작자 Peter Steinberger는 자기 팀이 단 한 달 동안 토큰 비용으로 130만 달러 이상을 썼다고 밝힘

  • 이런 사례를 보면, 적어도 현재로서는 AI가 생산성을 조금 높여 주는 수준인데도 사람을 고용하는 것보다 더 비쌀 수 있음

• 토큰 가격 하락과 사용량 급증의 결합은 Jevons Paradox를 떠올리게 함

  • 효율이 높아질수록 오히려 그 도구나 기술을 더 많이 쓰게 되는 현상

  • 역사적 사례로는 산업혁명기의 고효율 증기기관이 더 많은 기업의 도입을 불러온 일이 있음

  • 항공업계도 비슷함

    • 항공기가 연료 효율을 높이자 항공권 가격이 내려갔고, 그 결과 수요가 더 늘어남

    • IATA에 따르면 항공 여행 수요는 2050년까지 두 배로 늘어날 전망

• AI 도구에서도 같은 일이 벌어지는 듯함

  • 많은 기업이 생산성 향상을 명분으로 AI 배치를 확대하는 중

  • Nvidia CEO Jensen Huang은 자사 엔지니어들이 완전한 생산성을 내려면 해마다 연봉의 최소 절반에 해당하는 AI 토큰을 써야 한다고 유명하게 말한 바 있음

  • AI 사용을 말리는 관리자들에게는 “제정신이냐?”라고까지 했다고 전해짐

  • 이른바 tokenmaxxing 현상 때문에, 많은 직원이 내부 목표치를 맞추려 거의 모든 일에 AI를 붙이게 됨

  • Amazon에서는 일부 팀원이 내부 사용 점수를 부풀리려고 필요 없는 작업에도 도구를 썼다고 인정했고, Microsoft와 Meta 등 다른 기업들에서도 비슷한 사례가 보고됨

  • 공교롭게도 이런 기업들은 AI 개발비를 가장 크게 쓰는 축에 속함

• 토큰 사용 급증과 그에 따른 비용이 문제로 떠오른 지금, 이들 기업이 정책을 바꿀지는 아직 불확실

  • AI 자체는 분명 유용한 도구지만, 일부 기업은 인건비를 줄이겠다며 사람을 대체하는 수단으로도 밀어붙이는 중

  • 업무 처리에 필요한 토큰 수 증가 속도가 토큰 가격 하락 속도를 앞질러 버리면, 그런 선택은 결국 되레 역효과를 낼 수 있음

^{source https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-cost-crisis-hits-tech-giants-as-employee-tokenmaxxing[...]}