엔비디아, 인간과 AI 상호작용 돕는 ‘텐서RT 7’ 공개
음성 에이전트·챗봇·추천 엔진 등 애플리케이션 지원

엔비디아가 실시간 대화를 지원하는 AI 추론 소프트웨어를 공개함에 따라 그간 인간과 AI간 상호작용에 걸림돌이 됐던 추론 지연시간을 개선할 것으로 기대된다.
엔비디아는 전 세계 개발자들이 대화형 AI 애플리케이션을 제공하는데 사용될 AI 추론 소프트웨어의 최신 버전 ‘엔비디아 텐서RT 7(NVIDIA TensorRT 7)’을 공개했다.

엔비디아 텐서RT 7은 엔비디아의 7세대 추론 소프트웨어 개발 키트로 인간과 AI간 상호작용을 도와 음성 에이전트(voice agent), 챗봇, 추천 엔진 등 애플리케이션의 실시간 구현을 지원한다.

여기에 AI 음성 애플리케이션 구현에 필요한 트랜스포머(transformer) 기반 RNN(Recurrent Neural Network)을 자동으로 최적화하고 가속화하도록 설계된 최신 딥러닝 컴파일러를 함께 제공한다.

이를 통해 대화형 AI의 구성요소가 CPU에서 실행될 때 기존 대비 10배 빠른 속도를 구현하는 동시에 지연시간은 실시간 상호작용에 필요한 수준인 300밀리 초 임계값 미만으로 단축시켰다.

미국 시장조사기관 주니퍼 리서치(Juniper Research)에 따르면 전 세계 디바이스의 약 32억 5,000만 개에서 디지털 음성비서가 사용되는 것으로 추정되며 이는 2023년까지 세계 총 인구 수를 뛰어 넘는 80억 개에 이를 것으로 예상된다.

젠슨 황 엔비디아 창립자 겸 CEO는 GTC 차이나 기조연설을 통해 “현재 우리가 살고 있는 세상은 기계가 인간의 언어를 실시간으로 이해할 수 있는 새로운 AI 시대”라며 “텐서RT 7은 전 세계 개발자들에게 인간과 AI간 보다 자연스러운 상호작용을 돕는 빠르고 스마트한 대화형 AI 서비스를 구축하고 배포할 수 있는 툴을 제공한다”고 말했다.

한편 텐서RT 7은 RNN이라는 순환루프구조(recurrent loop structures)를 사용하는 시계열 시퀸스 데이터 시나리오 예측에 활용되는 AI 모델이 확장될 수 있도록 지원한다. RNN은 AI 음성 네트워크 외에도 차량이나 위성의 도착 시간 계획, 전자 의료 기록에 기입될 상황 예측, 금융자산 예측, 사기행위 감지 등의 목적으로도 사용된다.