온디바이스 AI 최적화 솔루션으로 업계 주목을 받고 있는 주식회사 노타(이하 노타)의 조석영 매니저를 만나 관련 기술과 업계 동향, 전망 등에 대해 이야기를 나눠봤다.(1편 기사)

이어서 노타의 AI 솔루션 역량과 온디바이스 AI 기술의 미래에 대해서 심도 깊은 답변을 들을 수 있었다.

■ 노타의 빠른 성장이 주목 받고 있다. 노타의 현황은?

올해 목표 매출은 최소 100억원 상당이다. 노타는 빠르게 매출이 성장하고 있는 스타트업이다. 2021년 5억, 2022년 20억, 지난해 50억원 가까이 육박하며 매년 2~4배 가량의 성장을 기록하고 있다.

노타는 2025년 상장을 목표로 기술특례상장을 계획하고 있다. 미래에셋증권이 주관사로 선정됐으며, 현재 거래소 심사를 위한 준비에 박차를 가하고 있다.

■ 노타의 솔루션을 활용한 유즈케이스가 궁금하다

노타의 최적화 기술이 가진 가장 큰 강점은 그 범용성에 있다. 기존의 CNN 기반 컴퓨터 비전 애플리케이션부터 최근 주목받는 생성형 AI에 이르기까지, 다양한 AI 모델을 최적화하는 기술을 보유했다.

대표적인 성공 사례로는 △지능형 교통체계 솔루션(ITS) △안면인식 솔루션 △운전자 모니터링 솔루션 등이 있다. 

지능형 교통체계 솔루션 분야에서 스마트교차로 시스템, 돌발관제시스템에서 최상급의 성능을 보유하고 있으며 대전, 영천 등 주요 지자체 ITS 사업에서 해당 솔루션을 구축 운영중이다.

또한, 운전자 모니터링 솔루션은 글로벌 블랙박스 선도 기업에, 안면인식 솔루션은 국내 홈IoT 선도 기업에 각각 납품돼 기술력을 인정받았다.

생성형 AI 분야에서의 대표적인 사례로는 삼성전자와의 협업을 들 수 있다. 2024년 바르셀로나에서 개최된 세계 최대 모바일 박람회 MWC2024에서 노타는 삼성전자와 함께 갤럭시 S24에서 구동되는 세계에서 가장 빠른 온디바이스 이미지 생성 스테이블 디퓨전 데모를 선보였다.

■ 글로벌 칩 메이커들도 AI 소프트웨어 도구를 풀스택으로 공급하고 있다. 이들과 비교할 때 노타 솔루션이 갖는 차별점이 무엇인가

먼저, 폭넓은 지원 범위이다. 대부분의 반도체 업체가 제공하는 개발 툴은 자사 하드웨어에만 국한되어 있다. 하지만 실제 시장에서는 다양한 반도체 프로세서가 사용되고 있어, 솔루션 개발 시 디바이스마다 서로 다른 소프트웨어 라이브러리와 개발 툴을 사용해야 한다. 

이는 이미 부족한 AI 전문 인력으로 인한 기술 경쟁력 저하를 더욱 악화시키는 요인이 된다. 또한, 각 반도체 기업은 특정 애플리케이션에 초점을 맞추고 있어 모델 지원 범위가 제한적이다. 

예를 들어, ST와 TI는 저사양 MCU를 주로 생산하기 때문에 고성능 컴퓨터 비전이나 트랜스포머 기반 모델보다는 시계열 분석 수준의 머신러닝 애플리케이션에 주력하고 있다. 반면 노타의 기술은 광범위한 이기종 하드웨어 플랫폼에 다양한 AI 애플리케이션을 쉽게 최적화해 탑재할 수 있게 해준다.

둘째, 경량화·최적화 기술력이다. 노타는 2015년 설립 이래 온디바이스 AI를 위한 경량화 기술을 지속적으로 연구개발해 왔다. 이를 통해 축적된 원천 기술과 풍부한 국내외 특허를 바탕으로 오픈소스 및 타사 기술과 차별화된 성능을 제공한다. 

대표적인 예로, AI 모델 경량화의 주요 기법 중 하나인 가지치기(pruning)를 들 수 있다. 오픈소스나 타사의 개발 툴에서 주로 사용하는 비구조적 가지치기 또는 Sparsity 기법은 AI 모델의 가중치를 '0'으로 대체해 모델 크기를 줄이지만, 실제 연산량 감소에는 한계가 있어 속도 개선 효과가 미미하다. 

반면 노타의 구조적 가지치기 기술은 AI 모델의 채널을 직접 제거함으로써 실질적인 속도 개선을 달성한다. 이를 통해 정확도 손실은 최소화하면서 모델의 경량화를 가능케한다,
■ 기존 온디바이스 AI의 한계는 무엇인가

예컨대 공장에서 AI 카메라를 이용한 결함 검출이 많이 이뤄지는데 이때 카메라의 스펙, 세팅환경 등이 모델 학습에서 고려돼야 한다. 카메라 스펙이 변경되거나 각도가 달라지면 기존 모델은 작동하지 않는다. 그렇기에 공장의 수요는 개별 AI 솔루션 업체를 선호하지 않고 하드웨어부터 소프트웨어까지 올인원으로 제공하는 업체를 찾는다.

또한 새로운 결함에 대한 대처 능력이 부족하다. 기존 모델에서는 새로운 결함을 검출하기 위해서 또 다시 비용과 시간을 들여 데이터를 수집하고 학습해야 한다. 특히 엣지케이스에는 대처가 불가능한데 향후 생성형 AI의 발전은 기존에 보지 못했던 결함 케이스에도 대처할 수 있는 역량을 제공할 것이다.
■ 생성형 AI 기술의 발전이 온디바이스AI에는 어떤 영향을 미치나

인공지능 기술은 최근 중대한 전환점을 맞이했다. 기존 판별적(Discriminative) AI에서 생성형 AI로의 진화는 AI 활용 범위와 가능성을 획기적으로 확장시키는 계기가 됐다.

과거 AI는 주어진 데이터를 분류하고 패턴을 인식하는 등 비교적 단순한 판별 작업에 국한됐다. 이제는 AI가 인간과 유사한 방식으로 ‘맥락’을 이해하고 상황을 종합적으로 인지해 전혀 새로운 콘텐츠를 생성해낼 수 있게 됐다.

생성형 AI가 융통성 있는 문제 해결 능력을 보여준다는 점에 주목해야 한다. 전통적인 AI가 학습하지 않은 새로운 상황에 대응하는 것에는 한계가 명확했지만 생성형 AI는 기존 학습 데이터가 없던 새로운 상황에서도 추론을 통해 문제를 해결하는 능력을 갖추게 됐다.

■ 현재 생성형 AI 기술을 온디바이스에 적용한 사례는 무엇이 있나

노타의 경우, 이 기술을 지능형 교통체계(ITS)에 적용해 획기적인 성과를 거뒀다. 기존에는 감지가 어려웠던 도로 위의 교통사고 현장을 엣지 디바이스에서 실시간으로 자동 감지하는 솔루션을 개발한 것이다. 이 기술은 2024년 NVIDIA의 연례 개발자 행사인 GTC에서 시연되면서 업계 주목을 받았다.

단순히 비전만 하는 것이 아니라 언어 모델도 탑재된 멀티 모달로 이를 비전 언어 모델(Vision Language Model, VLM)이라고 하며, 이러한 모델을 노타는 솔루션화·내재화하고 있다. 이를 통해 사고 리포트도 만들 수 있으며, 궁금한 게 있으면 질의응답도 할 수 있다.

비단 노타뿐 아니라 글로벌 IT 대기업인 구글, 삼성, 애플, 퀄컴 등 주요 기업들도 온디바이스 환경에서 생성형 AI를 구동하기 위해 소형 언어 모델(sLLM, small Language Model) 등 비교적 컴팩트한 대규모 모델 개발에 박차를 가하고 있다. 이는 고성능 서버급 하드웨어가 아닌 일반 소비자 기기에서도 생성형 AI의 이점을 가져가려는 노력인 것이다.

■ 마지막으로 독자분들께 한 말씀

기술적 진보는 AI가 우리의 일상 생활과 산업 현장에 더욱 깊이 스며들게 할 것이다. 스마트폰에서 실시간으로 고품질의 이미지를 생성하거나, 개인 비서 AI가 더욱 자연스럽고 맥락에 맞는 대화를 나누는 등 사용자 경험을 한 단계 높일 수 있다. 

산업 현장에서는 예측 불가능한 상황에 대한 더욱 유연한 대응, 창의적인 문제 해결, 그리고 자동화의 수준을 한 단계 끌어올리는 등의 변화가 기대된다.

앞으로 온디바이스 AI 시대를 이끌어갈 노타에 많은 응원 부탁드리며, AI와 반도체를 잇는 AI 최적화·경량화 기술에도 많은 관심 바란다. 협업 문의도 언제든 환영한다.

감사합니다.