| AI HW 소형화, SW 대중화 추세 지속돼
| NVLink·Switch, 서버를 거대한 단일 GPU로
| 클라라·컨스텔레이션, 시뮬레이션 데이터 생성

AI를 비즈니스에 적용하려는 움직임이 늘어나면서 AI 하드웨어에 대한 관심도 증가하고 있다. 너도 나도 AI를 활용하려다보니 저변도 넓어졌다. 기업과 단체만 추진할 수 있었던 것 같았던 AI 프로젝트는 이제 개인 차원에서도 진행할 수 있게 되었다.

엔비디아는 여전히 게임 분야에서 대체할 수 없는 명성을 갖고 있으며, AI 분야에서도 마찬가지다. 대만계 미국인 젠슨 황(Jensen Huang; 黃仁勳)이 창립한 엔비디아에게 주요 고객들이 밀집한 대만은 더 없이 특별한 곳이다.

컴퓨텍스 타이베이(COMPUTEX taipei) 2019가 한창 열리고 있던 지난 5월 29일, 엔비디아 대만지사에서는 컨슈머 제품부터 엔터프라이즈 제품까지, 다양한 엔비디아의 제품군을 직접 보고 체험할 수 있는 자리가 마련되어 있었다.

e4ds 뉴스는 그 자리에서 엔비디아 코리아의 김선욱 이사의 소개에 따라 차세대 엔터프라이즈 AI 제품의 현재와 미래를 확인할 수 있었다.


DGX-1·2, NVLink로 하나 된 GPU 서버
소프트웨어 스택이 미리 마련되어 있는 엔비디아 DGX-1·2는 구매 즉시 간편하게 사용할 수 있는 AI 솔루션이다. PCIe보다 빠른 NVLink로 연결되어 각각 8개, 16개의 테슬라 V100 GPU가 하나의 GPU처럼 동작한다. 여러 대로 나뉘어져 있지만 한 대의 GPU와 같다.

DGX-1과 달리 DGX-2에는 NVSwitch가 탑재되어 있다. NVSwitch는 단일 서버 노드에서 16개의 연결된 GPU를 지원하는 온-노드 스위치 아키텍처로, 8개의 GPU쌍에서 각각 300GB/s 의 동시 통신을 지원한다.


AI 기반 의료기기용 플랫폼 클라라
엔비디아 클라라는 하드웨어와 소프트웨어의 조합을 통해 AI로 질병을 조기에 감지·진단하고 치료하는 툴로 활용되고 있다.

클라라의 구성요소는 두 가지다. 한 가지는 엔비디아 자비에(Xavier) AI 컴퓨팅 모듈과 엔비디아 튜링(Turing) GPU를 기반으로 하는 컴퓨팅 아키텍처인 클라라 AGX다. 다른 한 가지는 개발자들이 기존 시스템에서 데이터 처리를 위해 다양한 AI 기반 애플리케이션을 구축하도록 지원하는 클라라 SDK다.

클라라 AGX는 엔비디아 텐서(Tensor) 코어를 통한 AI 추론 성능, 쿠다(CUDA)를 통한 컴퓨팅 가속, 그리고 최신 엔비디아 RTX 그래픽을 제공한다. 클라라 SDK는 의료 애플리케이션 개발자들에게 컴퓨팅, 그래픽과 AI를 위한 일련의 GPU 가속 라이브러리와 재구성, 영상처리와 렌더링용 예시 애플리케이션, CT, MRI와 초음파용 컴퓨팅 등의 워크플로를 제공한다.

시연에서 클라라는 수많은 CT 사진을 토대로 의사가 확인코자하는 장기를 특정하고 3D 이미지로 구현해냈다. 시연의 클라라는 엔비디아 DGX 스테이션을 통해 가동됐다. DGX 스테이션은 개인용 슈퍼컴퓨터로 테슬라 V100 GPU를 4개 탑재했다. 그럼에도 수냉 쿨러를 사용하여 서버와 달리 구동이 조용해 책상 위에서도 사용할 수 있다.


에지에서 실시간 AI 수행 가능한 EGX 플랫폼
IDC에 따르면, 2025년에는 1,500억여 머신 센서와 IoT 디바이스가 처리돼야 할 연속 데이터를 스트리밍 할 것으로 예상된다. 스마트폰을 사용하는 개인으로부터 발생하는 데이터보다 많은 양이다.

엔비디아 EGX 플랫폼과 같은 에지 서버는 전 세계에 걸쳐 이러한 센서로부터 들어오는 데이터를 실시간으로 처리하는데 사용될 수 있다. 기업들이 5G 기지국, 웨어하우스, 리테일, 공장 등에서 발생하는 연속 스트리밍 데이터를 실시간으로 감지하고 이해·대응할 수 있도록 돕기 위해 개발된 EGX는 에지에서 실시간 AI 수행이 가능한 가속 컴퓨팅 플랫폼이다.

EGX는 젯슨 나노(Jetson Nano)로 시작 가능하며, 이미지 인식과 같은 작업을 처리하기 위해 몇 와트의 저전력으로 초당 5천억 회의 연산이 가능하다.

엔비디아는 레드햇(Red Hat)과 협력해 엔터프라이즈급 쿠버네티스(Kubernetes) 컨테이너 오케스트레이션(orchestration) 플랫폼인 오픈시프트(Openshift)와 엔비디아 에지 스택(NVIDIA Edge Stack)을 통합 및 최적화했다.

엔비디아 에지 스택은 엔비디아 드라이버, 쿠다 쿠버네티스(Kubernetes) 플러그인, 쿠다 컨테이너 런타임, 쿠다-X 라이브러리, 텐서RT(TensorRT), 텐서RT 인퍼런스(Inference) 서버와 딥스트림(DeepStream)을 포함한 컨테이너형 AI 프레임워크 및 애플리케이션을 포함한 소프트웨어에 최적화돼 있다.


소형 AI 애플리케이션 구현하는 소형 AI 컴퓨터 젯슨
지난 3월에 있었던 2019년 GPU 기술 컨퍼런스에서 처음 공개된 젯슨 나노(Jetson Nano)는 쿠다-X를 기반으로 하는 소형 AI 컴퓨터다. 자동화 기계용 젯슨 AGX 자비에(Jetson AGX Xavier), 에지 AI용 젯슨 TX2(Jetson TX2) 등과 함께 젯슨 제품군에 포함되는 젯슨 나노는 기업, 스타트업, 연구자들에게 적합하다.

젯슨 나노 개발자 키트는 데스크톱용 리눅스를 지원하며, 다양한 인기 주변기기 및 액세서리와 호환 가능할 뿐 아니라, 제조사들이 AI 프로젝트를 빠르고 쉽게 시작할 수 있도록 하는 RTU 프로젝트 및 튜토리얼을 함께 제공한다. 엔비디아는 또한 젯슨 개발자 포럼을 통해 사용자들에게 기술적 질문에 대한 답변을 제공한다.

한국에서 많은 호응을 얻고 있는 젯슨 전체 라인은 하나의 소프트웨어를 사용한다. 쿠다-X는 최신 컴퓨팅 앱이 엔비디아의 GPU 가속 컴퓨팅 플랫폼의 이점을 활용할 수 있게 하는 40개 이상의 가속화 라이브러리 모음이다.

젯팩 SDK(JetPack SDK)는 쿠다-X에 구축되며 전체 젯슨 라인을 지원하는 딥 러닝, 컴퓨터 비전, 컴퓨터 그래픽, 멀티미디어 처리를 위한 가속 라이브러리에 기반을 둔 AI 소프트웨어다. 젯팩에는 최신 버전의 쿠다, cuDNN, 텐서RT, 풀 데스크톱 리눅스 OS가 함께 제공된다.

사용자는 젯슨 제품군의 개발자 키트로 애플리케이션을 개발한 후, 소형화 된 젯슨 제품군의 모듈에 올려 제품을 완성할 수 있다. 나노-TX-AGX 순으로 더 높은 AI 성능을 제공한다.


상용 자율주행차량의 첫걸음, 드라이브 솔루션
자율주행차량의 목표는 세 가지다. 첫째는 안전이다. 둘째도 안전이다. 셋째도 역시나 안전이다. 안전한 자율주행을 위해서는 방대한 컴퓨팅 성능이 필요하다.

엔비디아 드라이브 하드웨어 및 소프트웨어 솔루션은 엔비디아의 AI 경험을 활용하여 자동차 제조사, 트럭 제조사, 1차 협력업체, 스타트업 기업이 자율주행을 현실화하도록 지원한다.

드라이브 AGX 페가수스는 2개의 드라이브 AGX 자비에 프로세서와 2개의 차세대 텐서코어(TensorCore) GPU에 기반을 둔 아키텍처를 사용하여 320TOPS의 딥 러닝 계산 성능을 달성했다. AGX 페가수스는 레벨 5 자율주행을 가능케 할 것으로 여겨지며 현재 샘플링 단계에 있다.

자율주행차량 AI 솔루션은 훈련에 훈련을 거듭해 시나리오를 만들어 내야한다. 하지만 언제고 훈련할 수는 없는 노릇이다. 도로 위의 상황은 매번 달라지고 자율주행차량은 이 모든 상황을 미리 훈련해야 한다. 하지만 폭설이 내리는 날을 훈련하기 위해 폭설이 내릴 때까지 마냥 기다릴 수는 없다.

드라이브 컨스텔레이션(Constellation)은 GPU에서 실제로 도로에서 주행하는 것처럼 데이터를 생성해 드라이브 AGX 페가수스에 입력한다. GPU가 생성한 가상의 카메라, 레이더, 라이다 데이터를 훈련함으로써 드라이브 AGX 페가수스는 수십억 마일의 자율주행 테스트 시나리오를 생성할 수 있다.


AI HW·SW의 대중화·소형화 지속될 것
델 테크놀로지스가 올해 1월에 발표한 ‘디지털 트랜스포메이션 인덱스(Dell Technologies’ Digital Transformation Index)’에 따르면, AI는 아태지역 비즈니스 리더들에게 최우선 순위 과제 중의 하나다.

약 50%에 달하는 응답자들이 향후 최대 3년 내에 AI에 투자할 계획을 갖고 있다고 밝혔다. 그러나 조사 대상 기업의 95%는 기업 내부의 AI 기술과 지식 부족을 어려움으로 꼽았다.

AI 전문가의 수요가 증가하고 있고, 또 되고 싶어 하는 사람들이 늘면서 엔비디아는 딥 뉴럴 네트워크의 설계부터 훈련, 배포까지 다루는 글로벌 교육 프로그램인 딥 러닝 인스티튜트(Deep Leaning Institute; DLI)를 만들었다.

매월 개발자, 데이터 과학자 및 IT 업계 종사자와 취업 희망 학생들을 대상으로 진행하는 DLI는 엔비디아 본사가 인증한 딥 러닝 전문가들이 강사로 참여한다. 딥 러닝 소프트웨어, 라이브러리 및 툴을 무료로 제공된다.

이렇게 AI 소프트웨어의 대중화가 확산되는 동안 AI 하드웨어의 크기는 날로 작아지고, 또 저렴해지고 있다.

사물에 인터넷을 연결한다는 아이디어로 출발한 IoT는 이제 AIoT로 진화하고 있다. 센서 노드에서, 에지 노드에서 AI가 가동하며 최적의 행동을 취한다.

젯슨 나노 개발자 키트는 99달러라는 저렴한 가격으로 등장해 많은 개발자, 엔지니어 그리고 학생들에게 AI를 활용한 새로운 제품을 보다 쉽게 만들 수 있는 환경을 제공하고 있다.

AI 하드웨어, 소프트웨어의 대중화 및 소형화는 앞으로 더 지속되고 더 가속될 것이다.