엔비디아 튜링 GPU와 젯슨 자비에
데이터센터와 에지 AI 추론 성능 측정
MLPerf 벤치마크 테스트서 5개 부문 1위


엔비디아는 7일, 데이터센터와 네트워크 에지에서 AI 추론 워크로드 성능을 측정하는 새로운 다섯 가지의 벤치마크 테스트에서 모두 1위를 차지했다고 밝혔다.

업계 최초의 독립적인 AI 추론 벤치마크 테스트인 MLPerf Inference 0.5에서 엔비디아는 데이터센터용 ‘엔비디아 튜링(Turing) GPU’와 에지 컴퓨팅용 ‘엔비디아 젯슨 자비에(Jetson Xavier) SoC’를 활용했다.

다양한 폼 팩터와 네 가지 추론 시나리오를 적용하는 MLPerf의 다섯 가지 추론 벤치마크는 이미지 분류, 객체 감지 및 변환과 같은 기존 AI 애플리케이션을 포함한다.

엔비디아는 서버와 오프라인을 포함한 데이터센터 시나리오상의 5개 벤치마크에서 모두 1위를 차지했으며, 튜링 GPU는 상용 프로세서 중 프로세서당 최고 성능을 달성했다. 이 MLPerf v0.5 추론 결과는 6일, www.mlperf.org에서 Inf-0.5-15, Inf-0.5-16, Inf-0.5-19, Inf-0.5-21, Inf-0.5-22, Inf-0.5-23, Inf-0.5-27 항목에서 검색할 수 있다. 프로세서당 성능은 보고된 가속기 수로 총 성능의 1차 지표를 나누어 계산한다.

젯슨 자비에는 에지 중심의 단일 및 멀티 스트림 시나리오에서 상용화된 엣지 및 모바일 SoC 가운데 최고 성능을 기록했다. 이 MLPerf v0.5 추론 결과 역시 www.mlperf.org에서 Inf-0.5-24, Inf-0.5-28, Inf-0.5-29 항목에서 검색할 수 있다.

이안 벅(Ian Buck) 엔비디아 가속 컴퓨팅 담당 부사장겸 총괄은 “AI는 현재 연구 단계에서 실제 애플리케이션을 위해 대규모로 구축되는 단계로 접어들면서 전환점을 맞이하고 있다. AI 추론은 컴퓨팅의 중대한 과제다”라고 말했다.

그러면서 “엔비디아는 프로그래밍이 가능한 업계 최고 수준의 가속기, 쿠다-X(CUDA-X) AI 알고리즘 스위트, 그리고 AI 컴퓨팅에 대한 전문지식을 결합하여 데이터센터에 점점 복잡해지고 있는 AI 모델을 원활하게 구축할 수 있도록 돕고 있다”라고 밝혔다.

엔비디아는 다양한 AI 워크로드에 걸쳐 컴퓨팅 플랫폼의 프로그래밍 가능성과 성능을 입증하면서, 모든 다섯 가지 MLPerf 벤치마크에 결과를 제출한 유일한 기업이었다.

엔비디아의 모든 MLPerf 결과는 ‘텐서RT 6(TensorRT 6)’를 기반으로 달성됐다.

텐서RT 6는 고성능 딥러닝 추론 소프트웨어로 데이터센터부터 에지에 이르는 프로덕션 환경에서 AI 애플리케이션을 쉽게 배포하고 최적화한다. 새로운 텐서RT 최적화는 깃허브(Github) 리포지토리(Repository)에서 오픈 소스로도 이용할 수 있다.

엔비디아는 또한 ‘젯슨 자비에 NX(Jetson Xavier NX)’를 공개하며 추론 플랫폼을 확장했다.

젯슨 자비에 NX는 에지단의 로봇 및 임베디드 컴퓨팅 디바이스를 위한 작고 강력한 AI 슈퍼컴퓨터로, MLPerf Inference 0.5 벤치마크에 사용된 자비에 SoC의 저전력 버전이다.