다양한 환경과 작업에서도 정확하게 손동작을 추적하는 기술이 개발돼 3차원에서 움직이는 풍부한 손과 손가락의 움직임을 활용할 수 있어 가상·증강현실, 스마트공장, 재활 등 다양한 산업에서의 적용이 기대된다.

서울대학교 공과대학(학장 이병호)은 기계공학부 이동준 교수 연구팀이 강건하고 정확한 손동작 추적 기술인 ‘VIST (visual-inertial skeleton tracking)’를 개발했다고 30일 밝혔다.

이동준 교수팀이 개발한 VIST 기술은 7개의 관성센서와 날염이 가능한 37개 마커가 장착된 장갑과 머리에 쓴 카메라 정보를 상보적으로 융합해 물체 조작 시 빈번히 나타나는 영상 가림이나 전자장비·철구조물 근처에서 발생하는 지자기 교란, 가위나 전동드릴, 촉각장비 착용에 따른 접촉에도 강건하고 정확하게 손과 손가락 동작을 추적하는 기술이다.

특히 작은 손바닥 위에서 많은 손가락이 빠르고 복잡하게 움직이는 손동작에서는 카메라가 마커를 놓쳐서 추적이 실패하기가 매우 쉬운데, 관성센서를 활용해 카메라의 마커 추적 성능을 높이고, 이와 동시에 카메라 정보를 활용해 관성센서 정보의 발산을 교정해 손동작 추적의 강건성과 정확도를 동시에 달성한 ‘영상관성센서 강결합융합(tightly-coupled fusion) 기반 다수의 골격체(skeleton)를 추적하는 기술’이 VIST의 핵심 기술이다.

연구책임자인 이동준 교수는 “개발한 VIST 손동작 추적 기술은 로봇손이나 협동로봇, 군집로봇을 손과 손가락을 사용해 직관적이고 효율적으로 제어하게 해줄 것이고, 이와 동시에 가상현실, 증강현실, 메타버스 등에서도 자연스러운 상호작용을 가능하게 해줄 것으로 기대된다”며 “특히 기존 제품 대비 가벼운 무게(55g), 저렴한 가격(재료비 100달러), 높은 정확도(1cm 정도 추적 오차) 및 내구성(세탁 가능)으로 말미암아 앞으로 상용화의 가능성도 크다고 할 수 있다”고 말했다.

손과 손가락을 다채롭고 정교하게 사용하는 것은 인간의 가장 중요한 특징 중 하나며 외부와의 상호작용을 풍부하게 해주는 중요한 요소다.

반면에 현재 로봇제어나 가상현실 등에서 사용되는 사용자 인터페이스에서는 태블릿 평면 위의 움직임만을 제어할 수 있거나 컨트롤러를 움켜쥐고 주먹으로 아바타를 제어하는 식으로, 3차원에서 움직이는 풍부한 손과 손가락의 움직임을 활용할 수 없다.

이를 위해 카메라와 AI를 이용한 영상 기반 손동작 추적 기술, 관성센서(inertial measurement unit)와 지자기센서를 활용해 손가락 각도를 측정해 손동작을 추적하는 기술, 소프트 웨어러블센서의 변형을 측정해 손동작을 추정하는 기술 등이 개발되고 있으나, 각각 영상 가림, 자기 교란, 물체·환경과 접촉에 의한 신호 교란 등 근본적인 문제를 가지고 있어 다양한 환경과 산업에 적용되지 못했다.

한편 이 연구는 과학기술정보통신부 기초연구사업(중견 연구) 및 한국연구재단 선도연구센터의 지원을 받아 수행됐으며, 국제 저널인 ‘사이언스 로보틱스(Science Robotics)’에 9월29일 자로 게재됐다.