후보정 없는 실시간 안면재현 기술 구현
제한된 드라이버 채택 및 딥러닝 모델
추가 학습하는 한계 극복

영상 기술 기업 하이퍼커넥트가 AI를 활용해 사진 한 장만으로 움직이는 얼굴 영상을 만드는 기술을 개발했다.
하이퍼커넥트 AI랩이 최근 얼굴 사진 한 장(타깃)만 있으면 움직임을 부여해 얼굴(드라이버) 영상을 만드는 안면 재현(face reenactment) 기술 '마리오네트(MarioNETte)'를 발표했다.

기존 안면 재현 기술은 재현하고자 하는 얼굴이 움직임을 부여하는 얼굴의 영향을 받아 변형이 일어나는 한계가 있어 기술 상용화에 어려움이 있었다. 고품질의 재현 영상을 만들려면 타깃의 얼굴과 윤곽이 비슷한 얼굴만 드리이버로 사용하거나 각 타깃의 얼굴에 맞춰 딥러닝 모델을 추가 학습시켜야 했다.

하이퍼커넥트는 이같은 문제를 해결하고자 딥러닝 모델이 드라이버의 얼굴에서 필요한 부분의 정보에만 집중할 수 있는 구조(image attention block)를 도입했다.

또한 얼굴에서 정체성(identity)을 나타내는 정보와 표정 및 움직임을 나타내는 정보를 분리해 재현하기 위해 얼굴에 드라이버의 표정과 움직임 정보만 입히는 기술(landmark transformer)을 고안했다.

이로써 재현하고자 하는 얼굴과 움직임을 부여하는 얼굴의 형태가 전혀 달라도 타깃 사진 한 장민 있으면 후보정 없이 실시간으로 현실감 있는 얼굴 재현 영상을 만들 수 있게 됐다.

하이퍼커넥트 AI랩 총괄 하성주 디렉터는 “기존의 안면 재현 기술은 구동 시간이 너무 오래 길고 데이터가 많이 필요했기 때문에 영상 품질이나 모델 속도를 높이기 위해서는 영상 품질 손실을 감수해야만 했다”며 “AI랩의 이번 연구는 영상 품질과 구현 속도를 동시에 높이는 접근법으로 얼굴 재현 기술의 상용화 가능성을 제시했다”고 말했다.

한편 하이퍼커넥트는 지난 10월 열린 국제 컴퓨터 비전 학회(ICCV 2019)에서 이 기술 시연에 성공하며 모바일 서비스에 적용하는 수준까지 기술 개발을 진행하겠다는 의지를 밝혔다. 얼굴 재현 기술은 영상 통화, 게임 AR 등 다양한 분야에 활용할 수 있어 잠재가치가 크다고 판단한 하이퍼커넥트는 아자르, 하쿠나 라이브 같은 기존 서비스를 개선하는 동시에 신규 서비스 개발에도 집중함으로써 시너지 효과를 낼 계획이다.