챗GPT의 AI 혁신이 비즈니스 운영, 고객 서비스, 콘텐츠 제작 등 디지털 업무 다방면에 도움을 주고 있는 반면, 휴머노이드, 공장, 기타 산업 시스템 내 장치 등에서 인공 지능을 구현하는 물리적 AI는 아직 획기적인 전환기에 이르기 못했다는 평가가 많다.

이러한 가운데 고급 훈련, 시뮬레이션, 추론을 결합한 3가지 컴퓨터 시스템이 등장하며 이러한 상황에 큰 변화가 있을 것이란 예측이 제시됐다.

엔비디아가 3가지 컴퓨터 시스템을 통해 차세대 AI 기술로 불리는 ‘물리적 AI’ 구축을 지원하고, 이를 통해 로보틱스 생태계 강화에 나선다고 28일 밝혔다.

■ 멀티모달의 부상, 물리적 AI
거대 언어 모델(Large Language Model, LLM)은 문자나 단어와 같은 모드에서 다음 토큰을 예측할 수 있는 1차원적인 모델이다. 이미지와 비디오 생성 모델은 다음 픽셀을 예측할 수 있는 2차원 모델이다.

이러한 모델들은 3차원 세계를 이해하거나 해석할 수 없다. 바로 여기에서 물리적 AI의 필요성이 대두된다.

물리적 AI 모델은 생성형 AI를 통해 물리적 세계를 인식하고, 이해하고, 상호 작용하고, 탐색할 수 있다. 가속 컴퓨팅을 기반으로 한 멀티모달 물리적 AI의 혁신과 대규모 물리 기반 시뮬레이션을 통해 전 세계는 로봇을 활용한 물리적 AI의 가치를 실현할 수 있게 됐다.

로봇은 △지각 △추론 △계획 △행동 △학습을 할 수 있는 시스템이다. 로봇은 흔히 자율 주행 로봇, 조작기 팔 또는 휴머노이드로 생각되지만 이외에도 다양한 유형의 로봇이 존재한다.

가까운 미래에는 움직이는 모든 것 또는 움직이는 사물을 모니터링하는 모든 것이 자율 로봇 시스템이 될 것으로 전망된다. 이러한 시스템은 주변 환경을 감지하고 이에 대응할 수 있는 능력을 갖추게 된다는 것을 의미한다.

수술실부터 △데이터 센터 △창고 △공장 △교통 관제 시스템 △스마트 시티 전체에 이르기까지 모든 것이 정적인 수동 운영 시스템에서 물리적 AI로 구현된 자율적이고 상호 작용하는 시스템으로 변화가 기대된다.

■ 물리적 AI 개발 위한 3가지 컴퓨터 시스템
휴머노이드 로봇을 개발하려면 물리적 AI와 로봇 훈련, 시뮬레이션, 런타임을 처리하는 3가지 가속화된 컴퓨터 시스템이 필요하다. 멀티모달 기반 모델과 로봇을 비롯한 그 세계의 확장 가능한 물리 기반 시뮬레이션이라는 두 가지 컴퓨팅 발전이 휴머노이드 로봇 개발을 가속화하고 있다.

엔비디아는 개발자가 물리적 AI를 제작할 수 있도록 3가지 컴퓨터 시스템과 가속화된 개발 플랫폼을 구축했다.

먼저 슈퍼컴퓨터에서 모델을 훈련한다. 개발자는 엔비디아 DGX 플랫폼에서 엔비디아 네모(NeMo)를 사용해 강력한 파운데이션 모델과 생성형 AI 모델을 훈련하고 미세 조정할 수 있다. 

또한 자연어를 이해하고 인간의 행동을 관찰해 움직임을 모방할 수 있는 휴머노이드 로봇을 위한 범용 파운데이션 모델을 개발하는 이니셔티브인 엔비디아 프로젝트 GR00T(Project GR00T)를 활용할 수도 있다.

엔비디아 OVX 서버에서 실행되는 엔비디아 옴니버스(Omniverse)는 물리적 AI를 테스트하고 최적화하기 위한 개발 플랫폼과 시뮬레이션 환경을 제공한다. 이는 엔비디아 아이작 심(Isaac Sim)과 같은 애플리케이션 프로그래밍 인터페이스와 프레임워크를 통해 활용된다.

개발자들은 아이작 심을 사용해 로봇 모델을 시뮬레이션하고 검증하거나, 물리 기반 합성 데이터를 대량 생성해 로봇 모델 훈련을 진행할 수 있다. 아울러 연구원과 개발자는 로봇 강화 학습과 모방 학습을 지원하는 오픈 소스 로봇 학습 프레임워크인 엔비디아 아이작 랩(Lab)을 사용해 로봇 정책 훈련과 개선을 가속화한다.

마지막으로 훈련된 AI 모델이 실행 컴퓨터에 배포된다. 엔비디아 젯슨 토르(Jetson Thor) 로봇 컴퓨터는 콤팩트한 온보드 컴퓨팅 요구 사항을 위해 특별히 설계됐다. 제어 정책, 비전, 언어 모델로 구성된 모델 집합이 로봇 두뇌를 구성하고, 에너지 효율적인 온보드 엣지 컴퓨팅 시스템에 배포된다.

로봇 제조업체와 파운데이션 모델 개발자는 워크플로우와 도전 과제에 따라 필요한 만큼의 가속 컴퓨팅 플랫폼과 시스템을 사용할 수 있다.

■ 개발자 생태계의 역량 강화

엔비디아는 3가지 컴퓨터 시스템을 통해 로봇 개발자와 로봇 파운데이션 모델 제작자로 구성된 글로벌 생태계의 작업을 가속화하는 데도 집중하고 있다.

테라다인 로보틱스(Teradyne Robotics)의 자회사인 유니버설 로봇(Universal Robots)은 엔비디아 아이작 매니퓰레이터(Isaac Manipulator), 아이작 가속 라이브러리와 AI 모델, 엔비디아 젯슨 오린을 사용해 UR AI 엑셀러레이터(UR AI Accelerator)를 구축했다. 이는 코봇 (cobot) 개발자가 애플리케이션을 구축하고, 개발을 가속화하며, AI 제품의 출시 기간을 단축할 수 있도록 돕는 즉시 사용 가능한 하드웨어와 소프트웨어 툴킷이다.

알고 로보틱스(RGo Robotics)는 엔비디아 아이작 퍼셉터를 활용해 휠미(wheel.me) AMR이 언제 어디서나 작동하고, 인간과 유사한 지각과 시각 공간 정보를 통해 지능적인 의사 결정을 내릴 수 있도록 지원했다.

△1X 테크놀로지스 △어질리티 로보틱스 △앱트로닉 △보스턴 다이내믹스 △푸리에 △갤봇 △멘티 △생츄어리 AI △유니트리 로보틱스 △샤오펑 로보틱스 등 휴머노이드 로봇 제조업체들이 엔비디아의 로봇 개발 플랫폼을 채택하고 있다.