글로벌 오픈소스 솔루션 선도기업 레드햇은 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server), 레드햇 AI 서드파티 검증 모델 및 라마 스택(Llama Stack)과 모델 컨텍스트 프로토콜(Model Context Protocol, 이하 MCP) API의 통합 그리고 엔터프라이즈 AI 포트폴리오 전반에 걸친 주요 업데이트를 통해 엔터프라이즈 AI에서 고객 선택권을 지속적으로 확대한다고 발표했다.

이러한 개발을 통해 레드햇은 조직이 AI 도입을 가속화하는 데 필요한 역량을 더욱 강화하는 동시에 하이브리드 클라우드 환경 전반에서 생성형 AI 제품 배포에 있어 고객에게 더 많은 선택과 신뢰를 제공한다.

포레스터(Forrester)에 따르면 오픈소스 소프트웨어는 기업 AI 활동을 가속화하는 촉매제가 될 것이다. AI 환경이 점점 더 복잡하고 역동적으로 성장함에 따라 레드햇 AI 인퍼런스 서버 및 서드파티 검증 모델은 효율적인 모델 추론과 레드햇 AI 플랫폼의 성능에 최적화된 검증 AI 모델 컬렉션을 제공한다. 레드햇은 라마 스택 및 MCP를 비롯한 생성형 AI 에이전트 개발을 위한 신규 API 통합을 더해 배포 복잡성을 해결하고 높은 제어력과 효율성으로 AI 이니셔티브를 가속화할 수 있도록 지원한다.

레드햇 AI 인퍼런스 서버를 통한 하이브리드 클라우드 전반의 효율적인 추론

레드햇 AI 포트폴리오에 새로운 레드햇 AI 인퍼런스 서버가 포함되며 하이브리드 클라우드 환경 전반에서 더 빠르고 일관되며 비용 효율적인 추론을 대규모로 제공한다. 이 핵심 기능은 레드햇 오픈시프트 AI(Red Hat OpenShift AI) 및 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)의 최신 출시에 통합되었으며 독립형 솔루션으로도 제공되어 지능형 애플리케이션을 더 효율적이고 유연하며 높은 성능으로 배포할 수 있다.

레드햇 AI 서드파티 검증 모델을 통한 테스트 및 최적화된 모델 제공

허깅페이스(Hugging Face)에서 제공되는 레드햇 AI 서드파티 검증 모델은 기업이 특정 요구사항에 적합한 모델을 쉽게 찾을 수 있도록 지원한다. 레드햇 AI는 검증된 모델 컬렉션과 배포 가이드를 제공해 모델 성능 및 결과 재현성(reproducibility)에 대한 고객 신뢰를 높인다. 레드햇으로 최적화된 일부 모델은 모델 압축 기술을 활용해 크기를 줄이고 추론 속도를 높여 자원 소비와 운영 비용을 최소화한다. 지속적인 모델 검증 프로세스를 통해 레드햇 AI 고객은 최적화된 생성형 AI 혁신의 선두를 계속 유지할 수 있다.

라마 스택과 MCP를 통한 AI 애플리케이션 및 에이전트 개발을 위해 표준화된 API

레드햇 AI는 메타(Meta)가 처음 개발한 라마 스택과 앤트로픽(Anthropic)의 MCP를 통합해 사용자에게 AI 애플리케이션 및 에이전트 구축과 배포를 위한 표준화된 API를 제공한다. 현재 레드햇 AI에서 개발자 프리뷰로 제공되는 라마 스택은 모든 생성형 AI모델 전반에서 vLLM 추론, 검색 증강 생성(RAG), 모델 평가, 가드레일 및 에이전트 기능에 액세스할 수 있는 통합 API를 제공한다. MCP는 API, 플러그인, 데이터 소스를 연결하는 표준 인터페이스를 제공함으로써 에이전트 워크플로우에서 외부 도구와의 통합을 지원한다.

레드햇 오픈시프트 AI(v2.20)의 최신 버전은 생성형 AI 및 예측형 AI 모델을 대규모로 구축, 학습, 배포, 모니터링할 수 있는 추가 기능들을 포함하고 이는 다음과 같다.

최적화된 모델 카탈로그(기술 프리뷰): 검증된 레드햇 및 서드파티 모델에 쉽게 액세스할 수 있도록 하며 웹 콘솔 인터페이스를 통해 이러한 모델을 레드햇 오픈시프트 AI 클러스터에 배포하고 레드햇 오픈시프트 AI의 통합 저장소(registry)를 활용하여 모델 라이프사이클 관리
쿠브플로우 트레이닝 오퍼레이터(KubeFlow Training Operator) 기반의 분산 학습: 인스트럭트랩(InstructLab) 모델 튜닝 및 기타 파이토치(PyTorch) 기반 학습 및 튜닝 워크로드의 스케줄링과 실행을 가능하게 하며 여러 레드햇 오픈시프트 노드 및 GPU에 걸쳐 분산되어 실행. RDMA 네트워킹 가속 및 최적화된 GPU 활용 기능도 포함되어 비용 절감.
기능 저장소(Feature store)(기술 프리뷰): 업스트림 쿠브플로우 피스트(KubeFlow Feast) 프로젝트를 기반으로 모델 학습과 추론을 위한 데이터 관리를 중앙화해 데이터 워크플로우 간소화 및 모델 정확도와 재사용성 향상

RHEL AI 1.5는 레드햇의 기본 모델 플랫폼에 새로운 업데이트를 제공함으로써 대규모 언어 모델(LLM)의 개발, 테스트 및 실행을 지원한다. RHEL AI 1.5의 주요 기능은 다음과 같다.

구글 클라우드 마켓플레이스(Google Cloud Marketplace) 가용성 제공: AWS 및 애저(Azure) 등 퍼블릭 클라우드 환경에 RHEL AI를 실행할 수 있는 고객 선택권이 확대되어 구글 클라우드상에서 AI 워크로드의 배포 및 관리 간소화
스페인어, 독일어, 프랑스어 및 이탈리아어를 위한 향상된 다국어 기능 제공: 인스트럭트랩을 통해 네이티브 스크립트를 사용하여 모델 사용자 정의를 하고 다국어 AI 애플리케이션을 위한 새로운 가능성 제공. 사용자는 자신의 교사 모델(teacher model)을 활용해 특정 사용 사례와 언어에 맞춘 모델 커스터마이징 및 테스트를 보다 효과적으로 제어할 수 있으며 향후 일본어, 힌디어 및 한국어 지원 예정

래드햇 AI 인스트럭트랩 온 IBM 클라우드(Red Hat AI InstructLab on IBM Cloud)서비스도 출시됐다. 이 신규 클라우드 서비스는 모델 맞춤화 과정을 더욱 간소화하여 확장성과 사용자 경험을 개선하며 기업이 고유한 데이터를 더 쉽고 높은 수준의 제어하에 활용할 수 있도록 지원한다.

레드햇의 비전: 모든 모델, 모든 가속기, 모든 클라우드

AI의 미래는 인프라 사일로에 의해 제한되지 않고 무한한 가능성을 유지해야 한다. 레드햇은 조직이 모든 클라우드에서 모든 가속기에 모든 모델을 배포할 수 있어, 과도한 비용 없이 탁월하고 더 일관된 사용자 경험을 제공할 수 있는 미래를 지향한다. 생성형 AI 투자의 진정한 잠재력을 실현하기 위해 기업은 현재 및 미래에 걸쳐 보다 원활하고 고성능의 AI 혁신을 위한 표준이 될 범용 추론 플랫폼을 필요로 한다.

레드햇 서밋

레드햇 서밋 기조연설에 참여해 레드햇 경영진, 고객 및 파트너의 최신 소식을 확인할 수 있다.

현대화된 인프라스트럭처와 기업용 AI의 만남 (Modernized infrastructure meets enterprise-ready AI): 5월 20일 화요일, 오전 8-10시(EDT) (유튜브 링크)

엔터프라이즈 혁신을 위해 진화하는 하이브리드 클라우드 (Hybrid cloud evolves to deliver enterprise innovation): 5월 21일 수요일, 오전 8-9:30(EDT) (유튜브 링크)

인용문

조 페르난데스(Joe Fernandes) 레드햇 AI 사업 부문 부사장 겸 총괄 매니저

"더 빠르고 효율적인 추론이 생성형 AI 혁신의 새로운 의사 결정 포인트로 부상하고 있다. 레드햇 AI는 레드햇 AI 인퍼런스 서버를 통한 향상된 추론 기능과 새로운 검증된 서드파티 모델 컬렉션을 갖춰 조직이 필요한 곳에 원하는 방식으로 고유한 요구 사항에 가장 적합한 구성 요소를 활용하여 지능형 애플리케이션을 배포할 수 있도록 지원한다”고 말했다.

미셸 로젠(Michele Rosen) IDC 리서치 매니저

"조직은 초기 AI 탐색 단계를 넘어 실용적인 배포에 집중하고 있다. 그들의 지속적인 성공 핵심은 다양한 환경과 요구에 맞게 AI 전략을 유연하게 조정할 수 있는 능력에 달려 있다. AI의 미래는 단지 강력한 모델뿐만 아니라 능동적이고 비용 효율적으로 배포할 수 있는 모델을 필요로 한다. AI 이니셔티브를 확장하고 비즈니스 가치를 실현하려는 기업에 이러한 유연성은 필수적이다"라고 말했다.

레드햇, 레드햇 AI 최적화 발표…모델, AI 가속기 및 클라우드 전반에 걸쳐 엔터프라이즈 AI 배포 가속화 지원