엔비디아가 시드니에서 6일부터 11일까지(현지 시간) 진행되고 있는 ‘ICML(International Conference on Machine Learning) 2017’에서 엔비디아 인공지능(AI) 랩(NVAIL) 연구진의 DGX 기반 인공지능 연구성과를 발표했다.

엔비디아가 운영하는 NVAIL에는 세계 최고의 대학 및 연구소가 참여하고 있다. 특히 캘리포니아 대학교 버클리 캠퍼스, 스위스 인공지능연구소 IDSIA, 도쿄대학교의 연구진들은 세계 최초 인공지능 슈퍼컴퓨터인 엔비디아 DGX를 기반으로 딥 러닝 분야의 발전을 선도하고 있다.

현재의 인공지능 방식에서 로봇은 반복적인 작업 경험을 통해 자극에 대한 최상의 대응 방식을 학습하게 된다. 레빈 교수는 로봇이 이러한 반복 작업 없이 학습할 수 있도록 만든다면 로봇의 적응력이 향상되는 것은 물론 더 많은 것을 학습할 수 있을 것이라 설명했다.

그는 “로봇이 하나의 기술을 학습하기 위해 필요한 수 천 번의 트레이닝 과정을 반복해야 한다. 이러한 학습에 필요한 경험 횟수를 획기적으로 줄일 수 있다면 기존에는 하나의 기술을 배우는 데 소요됐던 동일한 횟수의 작업으로 수 천 개의 기술을 학습할 수 있다”며, “실수를 전혀 하지 않는 머신을 구축하는 것은 어렵지만, 실수에서 보다 더 빠르게 배움으로써 경험해야 하는 실수의 횟수가 더 적은 머신을 구축하는 것은 가능하다”고 말했다.

레빈 교수가 이끄는 연구팀은 엔비디아 DGX 시스템을 활용해 시각적 인식과 움직임을 조정하는 알고리즘을 트레이닝하고 있다. 레빈 교수 연구팀 소속의 첼시 핀(Chelsea Finn) 박사과정 대학원생은 본 콘퍼런스에서 이 작업에 대한 연구 논문을 발표하고, 레빈 교수와 함께 “심층강화학습, 의사결정 및 조종(Deep Reinforcement Learning, Decision Making, and Control)”에 대한 튜토리얼을 제공했다.



스위스 인공지능 연구소 IDSIA: 딥 러닝의 심화 과정
리커런트 뉴럴 네트워크(RNN)와 장단기 메모리(LSTM)의 결합은 필체 및 음성 인식 분야의 연구진들에게 주요한 영향을 미쳤다.

각 연산을 자동적으로 다음 단계로 넘기는 피드포워드(feedforward) 네트워크와 달리, RNN은 내부 메모리를 이용해 각기 다른 발음 혹은 필체의 변형과 같은 임의 데이터를 처리하는 것이 가능하며 이전의 결정 사항 및 현재의 자극을 즉시 학습에 활용한다.

이는 RNN이 뉴럴 네트워크로 심화 발전할수록 더욱 다루기 어려워지고, 딥 러닝 프로세스의 속도를 저하시킴을 의미한다. 스위스 인공지능 연구소 IDSIA 연구진은 리커런트 고속 네트워크(recurrent highway network)를 통해 이러한 문제에 대한 해답을 제시했다.

IDSIA의 인공지능 연구자이자 ICML에서 발표된 이 분야 연구 논문의 공동 저자인 루페시 스리바스타바(Rupesh Srivastava) 연구원은 “지금까지는 순차적 전이에서 레이어가 두 개로 증가하는 상황에서조차 리커런트 네트워크를 트레이닝하는 것이 무척 어려웠던 반면, 리커런트 고속 네트워크 덕분에 현재는 반복되는 전이에서 레이어가 열 개로 증가해도 리커런트 네트워크의 원활한 트레이닝이 가능해졌다”고 설명했다.

스리바스타바 연구팀은 엔비디아 테슬라(Tesla) K40, K80, 타이탄(TITAN) X 및 지포스(GeForce) GTX 1080 GPU 외에도 딥 러닝용 CUDA 및 cuDNN를 함께 활용해 트레이닝의 속도를 향상시켰다. 스리바스타바 연구원은 특히 DGX 인공지능 슈퍼컴퓨터의 도입으로, “실험 사이클이 상당히 가속화돼, 모든 랩 프로젝트의 진척이 매우 빨라졌다”고 말했다.

도쿄대학교: 딥 러닝 속이기
DGX의 능력을 활용해 대상 영역의 미분류 데이터에 “가상의 레이블”을 할당했다. 자율적 영역 적응의 여러 가지 문제를 피할 수 있는 방법을 개발했다고 보고 있다. 이는 딥 러닝 모델이 도서 리뷰의 분류 능력과 같은 소스 영역에서 학습한 사항을 새로운 모델을 트레이닝 할 필요 없이 영화 리뷰와 같은 전혀 다른 대상 영역에 적용할 수 있도록 만든다.

도쿄대학교 연구팀은 “비대칭 삼각트레이닝(asymmetric tri-training)”이라는 개념을 제안했다. 본 개념은 세 가지 분류자(classifiers)에 각기 다른 역할을 할당해 세 개의 서로 다른 뉴럴 네트워크를 활용하는 것이다. 두 개의 네트워크는 레이블이 되지 않은 대상 샘플에 레이블을 부여하는 데 이용되며, 나머지 하나의 네트워크는 가상의 레이블이 부여된 대상 샘플로 트레이닝을 실시한다.

하라다 교수가 공동 저자로 참여한 관련 연구 논문은 ICML에서 발표됐다. 하라다 교수는 "가능성을 구체화하려면 비슷한 노력이 이루어져야 한다며, 본 연구 내용을 공유함으로써 관련 연구가 보다 빠르게 진행되길 바란다"고 전했다.