오늘날 전세계 자동차 제조사의 94%가 최신 차량 모델에 Arm 기술을 사용하고 있다. 자동차 업계 전반에 걸쳐 Arm 플랫폼이 보편화되고 있는 가운데 AWS, 빅원, 소나투스 등 주요 차량 내 AI 애플리케이션에 대한 구현이 소개됐다.

Arm이 AI 가속화를 위한 소프트웨어 및 커뮤니티 참여 프로그램인 Arm Kleidi를 오토모티브 시장에 출시한다고 13일 밝혔다. 

수라즈 가젠드라(Suraj Gajendra) Arm 오토모티브 사업부 프로덕트 및 솔루션 부사장은 "자동차 업계에서 AI는 자율주행차량의 핵심으로 묘사되지만, 현실은 적응형 크루즈 컨트롤, 개인 맞춤형 인포테인먼트 시스템 등 AI를 활용하는 차량 애플리케이션이 이미 많다"고 말했다.

반면, 차량 애플리케이션과 기능이 정교해지고 AI 요구가 증가하면서 업계는 △개발 환경 복잡성 증가 △클라우드-차량 소프트웨어 개발 및 검증 인프라 필요성 △엄격한 안전 및 보안 산업 표준 준수 △소프트웨어 확장성 필요성 등의 과제에 직면하고 있다.

Arm은 가상 플랫폼 및 표준 기반 소프트웨어 솔루션의 오토모티브 에코시스템 전반에서 AE 기술과 SOAFEE를 통한 협업을 활용해 이러한 문제를 해결해왔다.

Arm Kleidi는 Arm CPU에서 실행되는 AI 추론 워크로드를 위한 소프트웨어 성능 최적화를 제공한다. Kleidi는 △ExecuTorch △llama.cpp △MediaPipe △PyTorch와 같은 AI 프레임워크에 통합돼 개발자는 애플리케이션 구축을 시작하고 Arm 기반 플랫폼에서 자동으로 성능 향상을 확인할 수 있다.

AWS는 Arm과 코렐리움의 가상 플랫폼을 사용해 SDV용 AI 챗봇을 개발했다. 이 챗봇을 통해 운전자는 물리적인 차량 사용자 매뉴얼을 넘기는 대신 차량과 직접 상호작용하여 질문을 하거나 대시보드 경고에 대해 문의할 수 있다. 

최신버전 llama.cpp에 통합된 KleidiAI를 통해 챗봇 응답 시간이 10배 개선됐음을 확인했다. 이는 챗봇 응답 시간이 1~3초 가량 단축되는 성능이다. 

또한 빅원(VicOne)은 TinyLlama-1 1B 모델을 사용해 프리필 프롬프트 속도를 두 배로 높이고 토큰 생성 속도를 60% 이상 개선했다. 소나투스는 Kleidi에 최적화된 프레임워크를 통해 AI Technician Builder를 Arm 기반 AWS 그래비톤 Amazon EC2 인스턴스에서 실행할 수 있도록 이식했다.

Arm은 Kleidi의 오토모티브 분야 확장을 통해 클라우드에서 엣지까지 모든 Arm 시장에서 AI 개발자들에게 성능 가속을 제공할 계획이다.