F5-엔비디아, AI 추론 가속 기능 강화… AI 팩토리 수익성 고도화

모든 앱과 API 전송 및 보안을 선도하는 글로벌 기업 F5는 엔비디아(NVIDIA)와의 지속적인 협력을 기반으로 AI 추론 인프라를 가속화하고 최적화하는 기능을 한층 강화했다고 발표했다.

이번 통합은 F5 BIG-IP Next for Kubernetes와 엔비디아 블루필드-3(BlueField-3) DPU(데이터처리장치)를 결합해, GPU(그래픽처리장치) 활용도를 높여 토큰 처리량을 향상시키고 지연 시간을 줄이며, 대규모 환경에서 안전한 멀티테넌트 AI 플랫폼 구현을 지원하는 텔레메트리 기반 지능형 인프라 계층을 제공한다.

AI 시스템에서 토큰은 AI 출력의 측정 단위로, 추론 과정에서 생성되고 처리되는 단어, 기호, 데이터 조각을 의미한다. 토큰 생성의 양과 속도는 사용자 경험과 인프라 효율성, 가속기당 수익을 좌우한다.

기업과 GPUaaS(GPU as a Service) 제공업체들이 AI 수익화에 속도를 내고 AI 실험을 넘어 실제 수익 창출 서비스로 전환하면서, 인프라 효율성은 성패를 가르는 핵심 기준으로 자리 잡고 있다. 이제 성공은 단순한 GPU 배치 규모가 아니라 토큰 경제, 지속적인 토큰 처리량, 최초 토큰 생성 시간(Time to First Token, TTFT), 토큰당 비용, GPU 가속기당 수익으로 평가된다. F5와 엔비디아의 공동 솔루션은 이러한 지표 개선을 위해 설계됐다.

지능형 AI 인프라로 토큰 경제 최적화

애플리케이션 중심 추론에서 에이전트 기반 AI 워크플로우로의 전환은 토큰 처리량을 극대화하고 비용을 절감하기 위한 새로운 아키텍처 접근 방식을 요구한다. BIG-IP Next for Kubernetes는 이제 엔비디아 NIM 통계, Dynamo 런타임 신호, GPU 텔레메트리를 활용해 실행 전에 추론을 반영한 라우팅을 수행한다. 이를 통해 워크로드를 실시간으로 가장 적합한 가속기에 배치해 자원 활용도를 높이고 지연 시간과 재처리를 줄인다.

쿠날 아난드(Kunal Anand) F5 최고제품책임자(Chief Product Officer)는 “AI 인프라는 더 이상 GPU에 대한 접근이나 단순한 확장에 머무르지 않으며, 가속기당 경제적 가치를 극대화하는 방향으로 고도화되고 있다”며 “F5는 엔비디아와 협력해 AI 팩토리가 토큰 생산을 측정 가능한 비즈니스 지표로 활용할 수 있도록 지원하고 있다. BIG-IP Next for Kubernetes는 분석 및 제어 역량을 바탕으로 GPU 수율을 높이고 토큰당 비용을 낮추며, 공유 AI 플랫폼을 안정적으로 확장할 수 있도록 한다”고 밝혔다.

검증된 인프라 효율성: 구조적 성능 개선

성능 개선 효과는 수치로도 확인된다. 톨리 그룹(The Tolly Group)의 검증 테스트 결과, 엔비디아 블루필드-3 DPU로 가속화된 BIG-IP Next for Kubernetes는 토큰 처리량이 최대 40% 증가하고, 최초 토큰 생성 시간은 61% 단축됐으며, 응답 지연 시간도 34% 줄었다.

이 같은 성능 개선은 단순한 개선 수준을 넘어선다. 네트워킹, TLS/암호화, AI 인식 로드 밸런싱, 트래픽 관리를 엔비디아 블루필드-3 DPU로 분산 처리함으로써, BIG-IP Next for Kubernetes는 호스트 CPU 자원을 확보하고 GPU가 본래 목적에 집중할 수 있게 한다. 이를 통해 GPU는 대규모 환경에서도 높은 처리량의 추론 작업을 안정적으로 수행할 수 있다. 그 결과 GPU 활용도가 향상되고 대기 지연이 줄어들며, 토큰 생산량이 증가해 동일한 인프라 환경에서도 토큰당 비용을 낮출 수 있다. 특히 모델 변경 없이도 이러한 성능 개선을 기존 AI 팩토리 인프라에 즉시 적용할 수 있다. 이는 토큰 경제 경쟁에 나선 기업과 네오클라우드(NeoCloud) 제공업체에게 AI 처리 성능을 제약하는 인프라와 이를 가속하는 인프라를 가르는 핵심 차이를 의미한다.

케빈 디얼링(Kevin Deierling) 엔비디아 네트워킹 부문 수석 부사장은 “엔비디아의 가속 컴퓨팅 인프라와 F5의 AI 인식 애플리케이션 전송 및 보안 플랫폼을 결합하면 AI 팩토리의 토큰 경제 효율을 극대화해 모델 변경 없이도 확장성과 비용 효율성을 갖춘 추론이 가능해진다”며 “F5와 엔비디아는 기업이 AI 팩토리의 추론 처리 역량을 효율적으로 확대할 수 있도록 지원하고 있다”고 말했다.

에이전트 기반 AI·멀티테넌트 AI 플랫폼 최적화

현대 AI 워크로드는 점점 더 에이전트 기반·지속형·컨텍스트 인식 형태로 발전하고 있으며, 기존 로드 밸런싱으로는 대응하기 어려운 지능형 트래픽 제어를 요구한다. 향상된 BIG-IP Next for Kubernetes는 다음과 같은 기능을 지원한다:

l 에이전틱 AI 워크플로우를 위한 추론 인식 라우팅

l 엔비디아 DOCA 플랫폼 프레임워크(DPF) 통합으로 블루필드 DPU 배포 및 라이프사이클 관리 간소화

l 동적 VRF를 활용한 EVPN-VXLAN 기반 네트워크 수준의 멀티테넌시 보안

l 쿠버네티스 AI 환경 내 통합 보안, 토큰 거버넌스, 가시성 제공

이러한 기능을 통해 기업과 네오클라우드 제공업체는 GPU 인프라를 사업부 또는 외부 고객과 안전하게 공유하면서도 성능 간섭을 방지하고 예측 가능한 서비스 수준을 확보할 수 있다.

AI 팩토리 경제를 제어하는 핵심 컨트롤 플레인

F5와 엔비디아는 기업이 추론 아키텍처를 최적화할 수 있도록 검증된 도구와 모범 사례를 제공한다. 이번 기능 확장을 통해 BIG-IP Next for Kubernetes는 토큰 사용량을 관리하고 트래픽 흐름을 최적화하며 인프라 투자 대비 수익(ROI)을 극대화하는 AI 팩토리 경제의 핵심 컨트롤 플레인으로 자리매김한다. 이제 조직은 불필요한 인프라 확장 없이도, 기존 GPU 자원을 활용해 비용은 줄이고 활용 가치는 더욱 높일 수 있다. 그 결과 GPU당 수익은 높아지고 운영 비용은 낮아지며, 지속 가능한 성장을 위한 확장형 AI 서비스 구축이 가능해진다. 엔비디아의 인프라 텔레메트리 및 DPU 가속 기술과 F5의 트래픽 인텔리전스 및 보안 역량을 결합해, 양사는 기업이 AI 팩토리를 효율적이고 수익화 가능한 플랫폼으로 전환할 수 있도록 지원하며, 에이전틱 AI 시대에 대응할 수 있도록 한다.