관심영역 인코딩, 지능형 디지털 사이니지, 자동 객체 추적, 윈도우 크로핑, 음성인식 등 포함… 8K 애플리케이션을 위해 7nm 버설 ACAP에 HDMI 2.1도 구현


자일링스는 11일, 전문가용 오디오/비디오(프로 AV) 및 방송 시장을 겨냥한 머신 러닝 기능을 자사 디바이스에 추가했다고 밝혔다. 더불어 7nm 버설(Versal) 디바이스 상에 구현한 프로그래머블 HDMI 2.1 데모도 공개했다.

2월 11일부터 14일까지 네덜란드 암스테르담에서 열리는 ISE(Integrated Systems Europe) 2020에서 공개한 자일링스의 적응형 솔루션은 고객들이 새로운 활용 모델 및 진화하는 산업 표준에 대응하는 것은 물론, 비용을 절감하고, 효과적으로 미래 지향적 투자를 할 수 있도록 설계되었다.


AI 에지 프로세싱을 위한 머신 러닝 기능
프로 AV 및 방송 플랫폼을 위해 자일링스가 제공하는 머신 러닝 기능은 관심영역 인코딩을 비롯해 지능형 디지털 사이니지, 자동 객체 추적, 윈도우 크로핑(Window Cropping), 음성인식 등이 포함되어 있다. 

고객은 AI 에지 프로세싱을 위해 ‘징크 울트라스케일+(Zynq UltraScale+)’ MPSoC 플랫폼을 비롯한 자일링스 디바이스 상에서 이러한 머신 러닝 기능을 활용할 수 있다. 사용자는 실시간 AV 프로세싱, AV 연결 인터페이스, 코덱, IP 네트워킹, CPU 및 GPU 등을 확장 가능한 적응형 단일 칩 솔루션에 통합하여 공간 및 전력, 비용을 줄일 수 있다.

프로 AV 시장의 고객들은 새로운 머신러닝 기능을 다양한 애플리케이션 및 작업부하에 적용할 수 있다. 주요 사례는 다음과 같다:

관심영역 인코딩 - 머신 러닝 및 H.264/H.265 코덱이 통합된 징크 울트라스케일+ MPSoC를 이용해 얼굴 및 특징을 감지하여 해당 영역의 비디오 품질을 높이고, 배경에 더 높은 압축율을 적용할 수 있다. 이를 통해 전반적인 비트 전송율을 줄이고, 라이브 스트리밍에 따른 비용을 크게 절감할 수 있다.

지능형 디지털 사이니지 - 성별, 연령, 제스처 감지를 위한 머신 러닝 모델을 사용하여 디지털 사이니지에 타깃 인터랙티브 광고를 게시할 수 있다. 이를 통해 수익화할 수 있는 행동방식 측정은 물론, 광고주의 투자회수율을 높일 수 있다.

자동 객체 추적 및 윈도우 크로핑 - 머신러닝을 사용하여 단일 4K 카메라에서 다중 HD 윈도우를 출력할 수 있다. 이는 제어실에서 전환 가능한 라이브 이벤트 컨텐츠를 제공할 때 유용하다.

음성인식 - 자동으로 음성을 텍스트로 출력할 수 있으며, 컨퍼런스 및 공동작업의 회의 노트를 기록하고, 언어 번역을 자동으로 처리하는 데 적합하다.


7nm 디바이스에 최초로 HDMI 2.1 구현
자일링스는 ISE 2020에서 적응형 컴퓨팅 가속화 플랫폼(Adaptive Compute Acceleration Platform; ACAP)인 7nm 버설 디바이스에 프로그래머블 HDMI 2.1을 구현한 데모를 선보인다. ACAP은 기존 CPU, GPU, FPGA의 성능을 능가하는 이기종 컴퓨팅 디바이스다.

최대 48Gbps의 데이터 전송속도를 제공하는 HDMI 2.1은 8K60 및 4K120을 포함한 다양한 고해상 비디오 및 고속 프레임 전송속도를 지원한다.

이를 통해 LED 월, 대형 디스플레이, 디지털 사이니지를 비롯해 라이브 스포츠와 같이 빠르게 움직이는 비디오 기반의 애플리케이션에서 더욱 생생한 화면을 전달할 수 있다. 버설 ACAP은 최대 8K UHD 비디오를 전송 및 수신, 처리할 수 있다.

7nm 버설 ACAP은 임베디드 소프트웨어와 다중 채널 AV 프로세싱 파이프라인 및 AI 추론이 긴밀하게 결합된 소프트웨어 기반 프로그래머블 인프라를 통해 확장 가능한 적응형 및 지능형 엔진을 제공한다. 

또한, 실시간 비디오 프로세싱 및 AV 연결 인터페이스, 코덱, IP 네트워킹, CPU, GPU 등을 단일 칩 솔루션으로 통합함으로써 공간 및 전력, 비용을 절감할 수 있다.