끊임없이 발전하는 비전 시스템을 필요로 하는 애플리케이션은 광범위하기 때문에 이미징 기술은 시장의 특정 요구사항에 적응할 수 있어야 한다. 예를 들어, 저가 가정용 카메라 시스템에는 단순하고 제한된 기능을 필요로 하는 반면, 상업용 카메라에는 고해상도, 노이즈 감소 및 보안 강화와 같이 더욱 정교한 기능이 요구된다.

이에 발맞춰 Arm이 새로운 Mali-C55 ISP(Image Signal Processor) 출시를 9일 발표했다. 신규 ISP는 현재까지 Arm에서 가장 작고 설정이 용이한 제품으로, 첫 번째 공개 라이선시인 르네사스(Renesas)를 포함한 파트너사들에게 관심을 받고 있는 것으로 전해졌다.

반도체 파트너와 OEM은 애플리케이션의 요구사항에 따라 기능을 자유롭게 추가하거나 제거할 수 있어야 하는데, 이것이 Arm이 설정에 용이한 ISP로 Mali-C55를 설계한 이유다. Mali-C55는 다중 카메라를 지원하고 머신러닝 액셀러레이터와 통합될 뿐만 아니라 업계 표준 AXI와 AHB 인터페이스를 포함하고 있어 Cortex-A 또는 Cortex-M 기반 SoC와 쉽게 통합될 수 있다.

Mali-C55는 업그레이드된 이미지 화질을 제공하며 다양한 조명 및 날씨 조건에서 작동한다. 면적과 전력 제한이 있는 애플리케이션에서 최대의 성능과 기능을 제공하도록 설계되어 스마트 카메라 및 엣지 AI 비전 사용 사례에 적합하다고 설명했다.

활용 사례에서 Mali-C55는 감시 카메라와 보안 카메라는 최대 75mph(시속 120.7km)의 속도로 이동하는 차량 번호판의 정확한 정보 인식이 가능해 중요한 세부 사항을 감지할 수 있다. 가정용 카메라와 보안 시스템은 내부 및 외부 모두에서 고해상도 이미지를 캡처할 수 있으며, 스마트 홈 허브는 안전한 시각적 잠금 해제와 같은 고급 기능도 탑재할 수 있다.

Arm은 최대 8개의 개별 입력을 위한 다중 카메라 기능, 최대 8K의 이미지 해상도 및 최대 48메가픽셀(MP)의 이미지 크기를 지원하는 Mali-C55이 이미지 품질, 처리량, 전력 소비 및 반도체 면적 등에서 장점을 가지고 있다고 피력했다.

동급 최고의 Mali-C52 ISP를 기반으로 구축된 Mali-C55는 △향상된 톤 매핑 및 공간 노이즈 감소 △하이 다이내믹 레인지(HDR) 센서 지원 강화 △다양한 노이즈 제거 기술을 위한 신경망 네트워크를 이용하는 머신러닝 액셀러레이터와의 원활한 통합 등의 기능을 갖췄다. 또한 여러 개의 Mali-C55 ISP를 결합함으로써 화상 회의와 같이 48 MP 이상의 기능이 필요한 애플리케이션에서 더 큰 이미지 크기를 얻을 수 있다.

임베디드 및 IoT 비전 애플리케이션에서 실리콘 풋프린트와 비용은 중요한 요소이다. Arm은 Mali-C55를 통해 이전 세대 제품 대비 거의 절반가량의 반도체 면적으로 향상된 기능을 제공해 전력 소비를 크게 낮춤으로써 배터리 수명을 연장해 디바이스에 들어가는 비용도 줄였다.

머신러닝이 엣지에 가까워짐에 따라 더 많은 ISP를 시스템온칩(SoC)에 통합해 고급 이미지 프로세싱을 활용할 수도 있는데 Arm은 Mali-C55와 머신러닝 액셀러레이터 간의 통합으로 고품질 비전 시스템이 필요한 디바이스에서 새로운 수준의 온디바이스 프로세싱을 제공하고 있다. 이는 ISP의 출력을 머신러닝 액셀러레이터로 직접 전송할 수 있기 때문이다. 따라서 추론을 절충할 필요 없이 디바이스에서 클라우드로 전송되는 데이터 양을 줄임으로써 비용과 처리 시간을 줄일 수 있다고 강조했다.

모하메드 아와드 Arm IoT 및 임베디드 사업부 부사장은 “ISP는 상업용, 산업용 또는 가정용 스마트 카메라와 드론을 포함한 광범위한 IoT 비전 시스템 애플리케이션을 지원하는 가장 중요한 정보 생성 디바이스 중 하나”이며, “미래의 디바이스에서 고품질 이미지 처리에 대한 수요가 증가함에 따라, Arm의 ISP 기술 로드맵은 지속적인 투자가 필요한 영역”이라고 말했다.