AI의 미래는 온프레미스에 있다

• Dell Tech World 2026, 기업이 AI를 실제로 굴리는 방법에 초점

  • Dell Tech World 2026의 중심 주제, 기업의 AI 실행 방안

  • 에이전트 도입이 늘수록 sovereign AI 요구 강화

  • 클라우드 기반 LLM 사용 비용 급등도 큰 압박

• 요즘 기술 콘퍼런스 대부분이 인공지능을 전면에 내세우지만, 이번 주 Dell Technologies World에서 눈에 띈 점은 기업이 AI를 실제 업무에 어떻게 사용할지, 그리고 그 역량을 인프라 안에 어떻게 심을지에 집중했다는 점

• Dell Tech World 2026에서 드러난 핵심 흐름, 기업이 온프레미스 AI 역량을 더 키우게 만드는 요인들

  • 데이터와 AI sovereignty 수요 확대

  • 특히 에이전트에 더 엄격한 거버넌스 필요

  • 이런 핵심 시스템을 더 직접 통제하려는 요구

지능이 인프라가 되는 시점

• 개막 기조연설에서 Dell 회장 겸 CEO Michael Dell, AI를 데이터와 인프라에 더 가깝게 옮기는 작업을 진행 중이라고 밝힘

  • "풍부한 지성이 여기에 있습니다"

  • "지능은 인프라가 되어가고 있다."

• 기업들은 퍼블릭 클라우드 API로 AI 파일럿을 돌리는 일은 쉽지만, 그 파일럿을 대규모 운영 환경으로 옮기려면 내부 전용 서버와 컴퓨트 자원이 필요하다는 점을 체감 중

  • 온프레미스나 하이브리드 아키텍처가 없으면 데이터 처리 용량과 지연 시간에서 걸림돌 발생

  • 특히 기존 AI에서 agentic system으로 넘어갈수록 문제 확대

• 가장 큰 압박 중 하나, 클라우드 기반 LLM 사용 비용 증가

  • Michael Dell은 기조연설에서 "tokenomics" 개념 언급

  • Dell Technologies 부회장 겸 COO Jeff Clarke는 둘째 날 기조연설에서 AI 토큰 사용량이 320배 늘었고, 2030년까지 전 세계 토큰 소비가 3,400% 증가할 것으로 예상된다고 밝힘

• 기업이 이런 비용을 줄이는 주요 방법 중 하나, 더 많은 AI 워크로드를 클라우드에서 온프레미스 컴퓨트로 옮기는 일

  • Dell 포트폴리오도 이 수요를 겨냥

  • 행사에서는 로컬 워크스테이션, 대형 데이터센터 랙, 엣지 디바이스까지 내부 AI 컴퓨트 활용 방안을 여러 방식으로 제시

  • 이런 선택지가 기업의 토큰 비용을 크게 낮출 수 있다는 점 강조

• 비용 문제와 함께, 더 많은 내부 컴퓨트 자원으로 이동하는 배경에는 AI와 데이터 sovereignty 강화도 자리함

  • Aberdeen 조사에 따르면 전 세계 다양한 산업의 기업들이 데이터를 클라우드 밖에 두고, AI 학습도 자사 데이터센터 안에서 보호하는 데 높은 가치를 두는 추세

sovereign AI 요구 확대

• Dell Technologies World에서는 여러 발표자가 sovereign AI 요구가 커지는 이유와, Dell이 고객의 이런 요구를 어떻게 지원할지 설명

  • 새 Dell AI Data Platform도 그 흐름 속에서 공개

• 기업이 에이전트와 agentic system을 도입하기 시작하면서 sovereign AI 요구는 더 무거워짐

  • 에이전트가 들어오면 토큰 비용이 크게 치솟음

  • 행사 사례 발표 중 하나에서는 에이전트를 도입하자 3월 시점에 이미 연간 토큰 예산을 초과한 회사 사례 소개

  • 의도하지 않은 결과를 막으려면 더 엄격한 보안, 거버넌스, 통제가 필수

• Jeff Clarke의 기조연설 발언

  • "When an agent takes an action on your behalf, you need to know what it did, why it did it, and how to undo it if it got it wrong."

• 이런 우려에 대응하려는 Dell 발표 내용

  • Dell Deskside Agentic AI 공개

  • 워크스테이션, Nvidia NemoClaw 소프트웨어, Dell 서비스를 포함한 개발용 오퍼링

  • Nvidia OpenShell 지원도 발표

  • 에이전트를 만들고 기업 거버넌스와 프라이버시 정책을 강제할 수 있는 샌드박스 환경

상반된 조언: 빨리 움직일 것인가, 천천히 갈 것인가

• 이번 Dell Technologies World의 발표, 세션, 논의 전반에서 지금 AI 인프라가 안고 있는 대표적 균형 문제가 드러남

  • 기업이 "move fast" 해야 하고 "not be left behind"여야 한다는 메시지 반복

  • 동시에 실제 세션에서는 천천히 가기, 보안과 거버넌스 먼저 챙기기, AI와 에이전트는 작은 범위부터 시작하기를 강조

• AI와 에이전트 문제의 해법으로 소개된 여러 소프트웨어도 아직 베타, 심지어 알파 단계인 경우가 많음

  • 상당수는 운영 환경 사용 비권장 문구까지 포함

  • 보안과 컴플라이언스를 지켜야 하는 기업이라면 이 도구들이 자기 요구를 충족할 만큼 충분히 성숙했고 안전한지 따져봐야 함

^{source https://www.zdnet.com/article/dell-tech-world-2026-why-the-future-of-ai-is-moving-on-premises/}