퀄컴이 생성형 AI 비용 최적화를 위해 하이브리드 AI 개념을 제시했다.

퀄컴 김상표 부사장이 지난 24일 ‘한국전자전(KES 2023)’ 오프닝 키노트에서 “생성형 AI 시대에서 비용 최적화를 위한 시스템 구축에는 하이브리드 AI가 적합하다”고 주장하며, 이를 구현하기 위한 제품으로 생성형 AI 전용 엔진 헥사곤 프로세서를 소개했다.

생성형 AI 어플리케이션은 현재 3천개 정도 존재하는데, 스마트홈, 오토모티브, 헬스케어 등 다양한 분야에서 어플리케이션이 기하급수적으로 늘어나고 있다. 많은 유저를 지원하기 위해 구축된 인프라는 중앙 집중화된 구조를 유지하며 서버에 많은 부하와 비용이 발생하게 된다.

이를 해결하기 위해 퀄컴은 엣지 단에서 경량 모델을 구동해 메인 프레임에서의 부하를 디바이스 단으로 옮겨 줌으로써 서버의 부하를 줄이는 온디바이스 AI를 강조한다. 이는 여러 대의 서버에 트래픽을 분산하여, 한 대의 서버에 부하가 집중되는 것을 방지하고, 시스템의 안정성과 성능을 향상시키는 로드 밸런싱(Load Balancing)의 개념으로 설명할 수 있다.

김 부사장은 “스마트폰, PC는 10억 개 정도의 파라미터 수를 가진 AI를 처리할 수 있는 성능을 갖고 있다”고 말했다. 규모의 경제의 기반으로 생성 AI 서비스를 지원해야 할 경우, 하이브리드 AI는 불가피하다. 이를 통해 중앙 집중된 사회적 비용을 감소하고, 통신 대역폭 효율적 관리, 프라이버시 보장 등을 달성할 수 있을 것으로 기대된다.

퀄컴이 하이브리드 AI를 구현하기 위해 만든 헥사곤 프로세서는 퀄컴의 스냅드래곤 모바일 플랫폼의 핵심 구성 요소다. AI, 그래픽, 이미지 처리, 오디오 등 다양한 기능을 제공한다. 퀄컴은 작년 11월 출시한 AP칩 스냅드래곤8 2세대에 최신 헥사곤 프로세서를 탑재했다. 

김 부사장은 “헥사곤은 단독 작동하는 게 아니라 주변의 그래픽처리장치(GPU), 센싱 허브, 메모리 등의 효율적 관리를 도와 생성 AI의 퍼포먼스를 가속화하여 성능을 극대화한다”고 말했다. 예컨대 모바일 플랫폼 기준 AI 성능을 100%라고 했을 때, 다른 솔루션은 30-40% 수준에 그친다.

또한 “헥사곤 프로세서를 탑재했을 때 더 빠르게 아웃풋을 생성하고, 더 좋은 성능을 제공함에도 불구하고 전력 사용량이 3분의 1 수준으로 매우 효율적”이라고 말했다. 퀄컴은 퀄컴 AI 스택을 비롯해 퀄컴 AI 스튜디오 개발 환경도 제공한다. 

한편 산업통상자원부 주최 국내 최대 전자 IT 전시회 ‘한국전자전(KES 2023)’이 코엑스에서 24일(화)부터 27일(금)까지 개최됐다. 이번 전시는 500개사 1200부스로 약 6만여 명이 참가했다. 

25일 오프닝 키노트에서는 세계 최대 전자I·IT 전시회 CES를 주최하는 미국소비자기술협회(CTA) 게리 샤피로(Gary Shapiro) 회장이 내년 초 열리는 'CES 2024'의 테크 트렌드를 발표했다. 게리 샤피로 회장은 “50년전 기술을 돌아보면 선두에 있는 한국의 기술 혁신이 놀랍다”며, “지난 CES에서 미국 다음으로 가장 많이 참여한 한국은 1만 5천개 스타트업이 있고, 혁신적인 생태계 주목하고 세상을 변화하는 데 기술의 중요성을 아는 나라”라고 말했다.

내년 1월에는 CES2024가 미국 라스베가스에서 열린다. △AI △모빌리티 △디지털 의료 △5G △사이버 보안 △에너지 △NFT △디자인&패키징 △로보틱스 △드론 △스마트홈 △메타버스 등을 주제로 약 250개 세션이 진행될 것으로 예상된다. KES를 넘어 CES에서 국내 스타트업은 높은 참여도와 혁신상 수상 이력은 기존에 있던 산업 시스템의 변화를 가져오는 역할로 중요성이 부각되고 있다.