AI, 실험 넘어 실제 운영 단계로... F5, “한국 기업 55%, AI 추론 워크로드 운영 중”

모든 앱과 API 전송 및 보안을 선도하는 글로벌 기업 F5는 연례 ‘애플리케이션 전략 현황(State of Application Strategy, SOAS)’ 보고서를 발표하고, 인공지능(AI)이 중대한 전환점을 넘어섰다고 밝혔다. AI는 더 이상 실험적 시도에 머무르지 않고, 다른 핵심 업무 시스템과 마찬가지로 엄격한 운영 기준이 요구되는 프로덕션 워크로드로 자리 잡았다. 전 세계 수백 명의 엔터프라이즈 IT 및 보안 리더 설문을 바탕으로 한 이번 조사에 따르면, 국내 기업의 55%는 이미 AI 추론 워크로드를 운영하고 있으며, 다수는 전체 애플리케이션의 40~60%에 AI를 적용하고 있는 것으로 나타났다. 이는 AI가 비지니스 핵심요소로 부상하면서 기업들이 편의성보다 통제력을 우선시하고 있음을 명확히 보여주는 결과이다.

이형욱 F5코리아 지사장은 “AI는 실험 단계를 넘어 실제 운영의 영역으로 들어왔다. 이제 기업의 고민은 AI를 도입할지 여부가 아니라, 이를 얼마나 안정적이고 안전하게, 또 대규모로 운영할 수 있는가다”라며 “올해 조사 결과는 AI 추론이 이미 비즈니스 핵심 영역으로 자리 잡고 있음을 보여준다. 이에 따라 AI 서비스 운영은 트래픽을 얼마나 효과적으로 관리하느냐의 문제로, AI 보안은 거버넌스와 통제 체계를 얼마나 정교하게 갖추느냐의 문제로 옮겨가고 있다. 이런 변화를 먼저 읽은 기업이 더 빠르고 안정적으로 대응할 수 있을 것”이라고 말했다.

AI, 더 이상 실험이 아닌 운영 현실

AI는 더 이상 일시적인 시도나 앞으로의 과제가 아니라, 일상적인 비즈니스 성과를 뒷받침하는 운영 현실이 됐다. 국내 기업들은 현재 프로덕션 환경에서 평균 2~3개의 AI 모델을 운영하고 있으며, 65%는 실시간 운영 자동화를 위해 AI를 활용하고 있다. 이는 AI 시스템의 운영 거버넌스가 한층 중요해지고 있음을 보여준다. 기업들은 추론을 애플리케이션 스택에 통합된 관리형·정책 기반 워크로드로 다루고 있으며, 다른 프로덕션 시스템과 마찬가지로 동일한 수준의 아키텍처, 보안, 확장성 요구사항을 적용하고 있다.

서비스형 AI(AI-as-a-Service) 전략은 이미 위험 요소로 인식

서비스형 AI(AI-as-a-Service, AIaaS) 전략은 위험 부담이 크고 오늘날 엔터프라이즈 환경의 현실과 맞지 않는다는 인식이 널리 퍼져 있다. 퍼블릭 AI 서비스에만 의존하는 기업은 8%에 불과하다. 압도적 다수의 기업은 다양한 모델 포트폴리오를 구축하고 있으며, 비용, 정확도, 가용성을 관리하기 위해 정교한 라우팅, 장애 대응(fallback), 정책 제어 역량을 필요로 하고 있다.

하이브리드 멀티클라우드, 새로운 서비스 표준으로 부상

이 같은 변화는 멀티클라우드·멀티환경 운영 확대라는 더 큰 흐름을 반영한다. 국내 기업의 74%는 복수의 퍼블릭 클라우드 사업자를 이용하고 있으며, 68%는 온프레미스 데이터센터를 여러 곳에서 운영하고 있고, 72%는 코로케이션 환경을 다변화해 활용하고 있다. AI 워크로드 역시 비용, 정확도, 가용성을 최적화하기 위해 고도화된 라우팅, 장애 대응, 정책 제어를 요구한다. 이제 현대적인 AI 및 애플리케이션 운영의 복잡성을 관리하려면 환경 전반을 아우르는 통합 서비스 제공·보안·거버넌스 전략이 필수다.

이처럼 다양한 인프라의 복잡성을 관리하는 일은 중요하지만, 동시에 환경 경계를 넘나드는 정밀한 통제도 뒷받침돼야 한다. 그래야 원활한 통합과 일관된 정책 적용, 통합된 보안 전략을 구현할 수 있다. 이러한 균형은 사일로를 줄이고 운영 중단을 최소화하며, 대규모 환경에서도 거버넌스를 유지할 수 있게 한다. 이를 통해 기업은 비용, 정확도, 가용성을 최적화하는 동시에, AI 및 애플리케이션 운영을 위한 하이브리드 멀티클라우드 시스템의 잠재력을 최대한 발휘할 수 있도록 한다.

AI 보안·거버넌스, 이제 전사 차원의 필수 요건

AI 시스템이 본격적인 프로덕션 단계에 들어서면서 보안은 전사 차원의 최우선 과제가 됐다. 국내에서는 56%의 기업이 AI 워크로드의 높은 비용을 가장 큰 과제로 꼽았고, 51%는 에이전트ID(Agent Identities)의 급격한 증가로 인한 문제를 예상하고 있다고 답했다. 이는 AI 도입이 확대될수록 더욱 강력한 거버넌스, 비용 통제, 보안 프레임워크가 필요하다는 점을 보여준다.

프롬프트·토큰 계층, AI 서비스 제공 좌우하는 핵심 제어 지점

이번 보고서는 AI 워크로드 관리 방식이 크게 바뀌고 있음을 보여준다. 제어의 중심이 프롬프트, 토큰, API로 이동하고 있다는 의미다. 국내에서는 36%의 기업이 프롬프트 계층을 가장 중요한 서비스 제공 메커니즘으로 꼽았고, 21%는 서비스 제공과 보안을 위해 토큰 계층과 제어 계층을 우선시한다고 답했다. 이들 계층에 대한 거버넌스를 확보하는 것은 비용, 성능, 안전성을 최적화하는 핵심 요소이며, 인프라에만 집중하는 기업보다 경쟁 우위를 확보하는 기반이 될 수 있다.

시사점

‘2026 애플리케이션 전략 현황’ 보고서는 엔터프라이즈 기술 환경을 재편하는 핵심 요인을 데이터 기반으로 조망한다. 여기에는 AI의 빠른 운영화, 하이브리드 멀티클라우드의 일상화, 그리고 보안과 통제에 대한 새로운 접근을 요구하는 진화하는 위협 환경이 포함된다.

AI 성숙도는 이제 운영 탄력성과 경쟁력 수준을 가늠하는 측정 가능한 지표로 빠르게 자리 잡고 있다. AI가 실행되는 모든 환경 전반에 걸쳐 가시성, 인증, 통합 제어에 투자하는 기업이야말로 AI의 가능성을 지속 가능한 비즈니스 가치로 전환하게 될 것이다.