엔비디아가 ‘엔비디아 AI 레디 서버’로 기업 전용 생성형 AI 가속화를 지원한다.
 
엔비디아는 24일 세계 주요 시스템 제조업체들이 별도로 발표된 VM웨어 프라이빗 AI 파운데이션(VMware Private AI Foundation)을 지원하는 엔비디아 AI 레디 서버(NVIDIA AI-ready)를 제공한다고 발표했다.

엔비디아 AI 레디 서버에는 △엔비디아® L40S GPU △엔비디아 블루필드-3 (BlueField®-3) DPU △엔비디아 AI 엔터프라이즈 소프트웨어가 탑재된다. 이를 통해 기업은 독자적인 비즈니스 데이터를 사용해 지능형 챗봇, 검색, 요약 도구 등 생성형 AI 애플리케이션을 맞춤화하고, 배포하도록 돕는다.
 
엔비디아 L40S 기반 서버는 △델 테크놀로지스(Dell Technologies) 파워엣지(PowerEdge) R760xa △휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise) 프로라이언트(ProLiant) Gen11 △레노버(Lenovo) 씽크시스템(ThinkSystem) SR675 V3 등을 통해 연말 출시를 앞두고 있다.
 
L40S GPU는 수십억 개 매개변수의 복잡한 AI 워크로드를 처리한다. 4세대 텐서 코어와 FP8 트랜스포머 엔진이 포함되며, 1.45페타플롭스(PF) 이상의 텐서 처리 성능, 엔비디아 A100 텐서 코어 GPU에 비해 최대 1.7배의 훈련 성능을 제공한다. 
 
엔비디아 블루필드 DPU를 탑재해 가상화, 네트워킹, 스토리지, 보안과 기타 클라우드 기반 AI 서비스의 속도를 높인다. 엔비디아 커넥트X-7 스마트NIC(ConnectX®-7 SmartNIC)는 데이터 집약적인 생성형 AI 워크로드를 위한 동급 최고 확장성을 제공한다.
 
엔비디아 AI 엔터프라이즈 소프트웨어는 LLM을 위한 엔비디아의 100개 이상의 프레임워크, 사전 훈련된 모델, 툴킷, 소프트웨어에 대한 프로덕션 지원과 보안을 제공한다.
엔비디아 AI 레디 서버는 풀 스택 가속 인프라와 소프트웨어를 제공해 신약 개발, 유통 제품 설명, 지능형 가상 어시스턴트, 제조 시뮬레이션 등 다양한 애플리케이션에 활용된다.
 
엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 "새로운 컴퓨팅 시대가 시작됐다. 모든 산업 분야의 기업들이 생성형 AI를 도입하기 위해 경쟁하고 있다. 엔비디아는 세계 최고의 소프트웨어와 시스템 파트너 에코시스템을 통해 전 세계 기업들에게 생성형 AI를 제공하고 있다"고 말했다.

​델 테크놀로지스의 CEO인 마이클 델(Michael Dell)은 “생성형 AI는 혁신을 위한 촉매제로서, 세계에서 가장 시급한 과제를 해결하는 데 도움이 된다”고 말했다. HPE의 CEO인 안토니오 네리(Antonio Neri)는 “엔비디아와 다양한 엔터프라이즈 튜닝과 추론 워크로드 솔루션에 GPU와 소프트웨어를 탑재함으로써 생성형 AI의 배포를 가속화할 수 있게 되어 기쁘게 생각한다"고 말했다.

한편 엔비디아 AI 레디 서버는 VM웨어 프라이빗 AI 파운데이션을 구축할 수 있다. VM웨어의 CEO인 라구 라구람(Raghu Raghuram)은 "VM웨어, 엔비디아 그리고 서버 제조업체 파트너의 전문성을 결합해 기업은 데이터 프라이버시, 보안, 제어 등을 유지하면서 AI를 개발하고 배포할 수 있다”고 말했다.

엔비디아 AI 레디 서버는 연말 출시 예정이다. 향후 몇 달 내 클라우드 서비스 제공업체를 통해 이용할 수 있다.