인텔이 IDC에 의뢰해 ‘2024년 IDC 아시아/태평양 지역 AI 성숙도 연구’를 실시했다고 10일 발표했다. 한국을 포함한 아태지역 8개국(호주, 인도, 인도네시아, 일본, 한국, 말레이시아, 싱가포르, 대만)을 대상으로 AI 성숙도와 관련해 조사했다.

이번 연구조사에 따르면 아태지역 전반적인 AI 성숙도는 중간 단계이며, 한국은 기업, 정부, 사회경제 3가지 측면에서 모두 평균 이상으로 평가됐다.

아태지역의 AI 지출은 2027년까지 연평균 28.9%로 성장이 예측되며 907억달러(한화 약 124조원)에 도달할 예정이다. IDC는 ‘생성형 AI(GenAI)가 급부상하면서 많은 조직들이 2023년부터 생산성 향상과 비용 절감을 목표로 하는 내부 중심의 AI 이니셔티브를 위해 AI를 도입하기 시작’했다고 밝히고 있다.

보고서에서 흥미로운 점은 생성형 AI 열풍 속에서도 아태지역의 AI 예산 가운데 19%만이 생성형 AI에 할당됐다는 점이다. 나머지 81%는 예측형 및 해석형 AI에 할당되면서 IDC는 ‘예측형, 해석형, 생성형 AI는 모두 중요하며 서로 분리된 영역으로 간주해서는 안된다’며 AI를 연속체로 봐야한다고 덧붙였다.

엣지단에서의 AI, 즉 올해 온디바이스 AI 키워드가 크게 주목받으며 급부상하고 있다. AI를 실시간으로 구현하는 것이 중요한 반면, 중앙 집중적인 인프라와 관련된 지연 시간 문제로 인해 제대로 구현되지 않는 사례가 많다. 엣지 컴퓨팅으로의 전환은 AI를 모든 곳에서 구현할 수 있도록 해줄 것이라고 기대를 모으고 있다.

설문조사에 참여한 아태지역 조직의 75% 이상이 2024년 엣지에 더 많은 비용을 지출할 것으로 예상하고 있으며, 약 50%는 엣지가 전체 IT 지출의 16% 이상을 차지할 것으로 추정했다.

이에 하이브리드 AI 시대로의 패러다임이 확대되면서 모델 학습과 추론의 다양한 요구사항을 충족하기 위해 데이터센터부터 클라우드, 클라이언트부터 엣지까지의 데이터 및 컴퓨팅을 배포 및 관리할 수 있는 기술 인프라 필요성이 커지고 있는 상황이다.

IDC는 현재 아태지역 국가별 AI 성숙도 수준을 △인도네시아, 말레이시아 1단계(탐색 단계) △인도, 대만 2단계(AI 실무) △호주, 일본, 한국 3단계(AI 혁신) △싱가포르 4단계(리더)로 평가하고 있다.

한국은 현재 2024년 IDC 아태지역 AI 성숙도 연구에서 AI혁신가로 평가 받으며, 잘 구축된 기술 인프라와 데이터 관리 전략을 통해 AI 이니셔티브를 계획하고 관리하며, 새로운 사용 사례, 특히 산업의 사용 사례가 나타나는 단계라고 강조했다.

한국의 AI 인프라 프로비저닝 투자 규모는 3억8,632만달러로, 광범위한 AI 개발을 지원하고 있다고 평가받는다. 이러한 대규모 투자는 고사양 서버 및 전용 AI 처리 장치와 같은 컴퓨팅 리소스 향상에 사용되고 있다. 한국은 고객 서비스 혁신을 위한 AI 사용에 우선순위를 두고 있으며, 특히 고객 서비스 상담원 보완에 중점을 두는 것으로 나타났다.

산업 부문을 보면 △반도체 부문 정밀 제조 자동화 지원을 위한 대규모 AI 투자와 품질 관리를 위한 ML 사용 △BFSI 부문 복잡한 재무 분석에 AI를 사용하는 고사양 인프라 활용 △기타 유통, 통신, 의료, 교육 분야 등 자동화 효율 제고와 특히 디지털 비서 및 서비스 개인화에 중점을 두는 경향을 나타냈다.

아울러 모든 AI 워크로드에 GPU가 필요하다는 일반적인 생각과는 달리, 실제로는 일부 AI 기반 작업을 수행하는 데 더 효율적인 대안으로 범용 CPU를 사용하는 경우가 많으며, 이는 비용과 에너지 소비를 줄여 지속가능성에 기여할 수 있는 것으로 나타났다.

인텔은 우디3(Gaudi 3)와 같은 전용 AI 가속기는 비용 우위를 제공해 기존 GPU의 대안이 되려는 시도를 하고 있다. 다만 단순히 CPU와 GPU 간의 격돌은 아니며 각각의 수요 애플리케이션 별 솔루션 채택방식이 다를 것으로 전문가들은 예측했다.

IDC는 시장의 AI 성숙도를 높이기 위한 권장 사항으로 △하이브리드 AI 대비 △유연성 및 확장성 있는 기술 기반 구축 △정부 차원의 AI 규제 및 윤리 균형 조율 △전문가 및 비전문가의 AI 이해도 상승 등을 제시했다.