최근 온디바이스 AI 기반 제품들이 다양한 분야에서 빠르게 빌드업되고 있다. 이러한 상황에서 하드웨어 중심의 기업들이 AI 기능 구현을 쉽고 빠르게 달성해 제품 개발 기간을 단축시키고 선제적인 시장 진입을 지원하는 인사이트 공유의 장이 마련돼 참관객들의 큰 호응을 얻었다.

지난 15일 2024 스타트 온디바이스 AI(Start On-Device AI) 컨퍼런스가 서울 강남역 한국컨퍼런스센터 대강당에서 e4ds news 주관으로 개최했다.

ST마이크로일렉트로닉스가 후원한 이번 컨퍼런스에는 김경기 대구대 교수의 기조연설을 시작으로 AI 경량화 및 최적화 솔루션에 △감바랩스 △주식회사 노타의 세션이 이어졌으며, △ST마이크로일렉트로닉스 △코드주 관계자가 참석해 온디바이스 AI를 구현하는 MCU 및 임베디드 솔루션에 대해 발표했다.

온디바이스 AI는 저전력·저사양 보드에서 간단한 AI 기능을 구현하는 것이 핵심이며, 지연시간 단축을 통한 즉시성과 저전력 애플리케이션 적용 가능성에 시장이 주목하고 있다. 

감바랩스 박세진 대표는 Tiny ML 시장 생태계는 아직 극초기 단계인 것으로 평가하며 시장 기회가 충분할 것으로 기대했다. 박 대표는 Tiny ML 고려요건으로 △비용 △성능 △전력 소모 △사이즈 △상호운용성 등을 손꼽았다.

특히 온디바이스 AI 제품은 하드웨어, 임베디드, 소프트웨어 그리고 AI 분야를 아우르는 광범위한 협업이 필요하다. 이 과정에서 온디바이스 AI 제품은 저전력·저사양 보드에 탑재하기 위한 AI 모델 경량화 및 이종 보드에 최적화된 AI 모델 임베디드를 위한 최적화 과정 등이 수반된다. 이러한 과정에서 타임투마켓 지연 등이 발생한다.
이러한 챌린지에 감바랩스는 ‘VIOLA Framework’를 개발해 AI 모델 자동화 개발 프레임워크를 선보이고 있으며, 노타의 넷츠프레소(Netspresso)를 통해 AI 최적화·경량화 통합 개발자 도구를 제공하고 있다.

감바랩스·노타에서는 각각 자사의 개발 및 성공사례를 공유해 초소형 AI 모델 구현과 디바이스 활용 예시들을 소개했다. 감바랩스는 초경량 음성인식 및 화자인식, 이상감지 솔루션을 통해 △키오스크 △자동차 트렁크 △병원 수술실 △공장 설비 △로봇 등에서 관련 프로젝트가 진행된 것으로 전해진다.

또한 노타는 ST마이크로일렉트로닉스 MCU에서 이미지 처리 모델의 경량화 및 최적화 사례를 소개했다. ST와 파트너십을 맺고 있는 노타는 Arm, 르네사스 등의 개발도구와도 연동해 AI 모델 최적화 솔루션을 제공하고 있다.

김경기 교수는 기조연설을 통해 “온디바이스 AI 장점을 최대한 활용할 수 있는 용도·애플리케이션 개발이 중요하다”고 강조하며, “경량화 모델의 개발 흐름이 지속되고, Auto ML 분야에서 이슈가 있을 것으로 예상된다”고 언급했다. 또한 “성공사례를 찾는 것이 키 이슈가 될 것”이라고 덧붙였다.