음악, 영화, 게임 등으로 오디오에 대한 우리의 애호는 새로운 것이 아니다. 오디오는 초창기 스테레오에서 첨단 서라운드 사운드로 진화했으며, 정교한 홈 시어터와 프리미엄 오디오 기기들이 개발되고 있다.

하지만 오디오의 세계는 언제나 극히 주관적이다. 누군가에게는 조화로운 소리가 누군가에게는 듣기 싫은 소리일 수 있고, 누군가는 깊게 울리는 저음에 매료되고 누군가는 선명하게 들리는 고음에 마음을 빼앗긴다. 뿐만 아니다. 지난 번에는 완벽하게 들렸던 이퀄라이저 설정이 그 다음에 들을 때는 조정을 해야 할 수 있다. 똑같은 사람이 듣는데도 말이다.

서라운드 사운드가 등장하면서 문제는 더 복잡해졌다. 5.1 시스템에서 7.1을 지나 9.1에 이르기까지, 청각적 완벽함을 쫓아서 스피커, 우퍼, 트위터의 수는 끝없이 늘어나고 있다. 그리고 이만하면 완벽하게 갖췄다고 생각할 즈음에 Dolby Atmos와 DTS 같은 혁신 기술들이 등장했다. 이들 기술은 기존의 조합에다 높이 같은 차원들을 포함시켰다.

이러한 모든 진보들 중에서 공간 음향(spatial audio)이 미래의 게임 체인저가 될 것으로 기대된다. 공간 음향은 모든 사람에게 천편일률적인 접근법이 아니라 개인에게 맞춤화 된 오디오 경험을 가능하게 한다.

듣는 사람의 머리를 상세하게 3D 스캔을 해서 고유의 오디오 프로파일을 생성한다. 이것은 단지 양쪽 귀의 간격이나 형태만이 아니라 청력 민감도까지도 고려에 넣는다. 인이어 마이크로폰이 청자의 고유의 마시모 민감도(Masimo sensitivity)를 감지한다.

이것은 우리 귀가 특정 주파수들에 어떻게 반응하는지 나타내는 것이다. 여기에다 해부학적 데이터까지 더한다. 그럼으로써 결과는 각각의 개인에게 맞춤화 된 오디오 스트림으로 이전에 볼 수 없던 몰입적인 청취 경험을 가능하게 한다.

■ 공간 음향이 어떻게 몰입감을 높이는가?

공간 음향 경험을 진정으로 몰입적으로 만드는 핵심은 머리를 추적하는 것이다. 실제 삶에서는 우리가 머리를 돌리는 것에 따라서 각기 다른 방향에서 각기 다른 소리들이 들려온다.

공간 음향은 실제와 같은 생생한 사운드를 모방하고자 한다. 그런데 한 가지 문제가 있다. 홈 시어터 환경으로 오디오 처리 엔진이 사람의 머리가 어디를 향하는지 어떻게 알 수 있을까?

이 기능을 위해서는 기존 기술 위에다 더 많은 기술들을 필요로 한다. 이 추적을 위해서, 비디오 카메라를 사용해서 당신이 영화를 보고 있는 동안에 당신 머리가 어디를 향하는지 추적할 수 있다.

또는 스마트폰을 줄을 사용해서 당신 머리에다 연결하고 가속도계와 자이로스코프를 사용해서 당신 머리를 추적할 수도 있다.

또는 극장 안의 모든 사람이 머리 추적 및 공간 음향을 지원하는 VR 헤드셋을 착용할 수도 있다(그림 1).
 

몇몇 스마트폰 제조사들이 자사 폰으로 공간 음향 프로세싱 기능을 구현하고 있으며, 운영체제들이 이러한 접근법을 지지하고 있다. 이 방법은 기능적으로는 작동할지 몰라도, 정확한 데이터를 사용해서 머리 위치를 추적하는 것만큼 훌륭하지는 못할 것이다.

현재 이머시브 게이밍이 이러한 머리 추적 접근법을 채택하고 있으며 정밀한 데이터를 사용해서 좀더 몰입적인 경험을 달성하고 있다. VR 헤드셋을 착용함으로써 VR 소프트웨어가 당신 머리가 어디를 향하는지 알 수 있다. 사용자가 바라보는 방향을 반영해서 화면을 업데이트하기 때문이다. 화면을 바라보는 것에 따라서 소리 또한 그 관점에서 들려온다.

이러한 점에서 게이밍이 이 기술을 진보시키는 촉매제 역할을 할 것이다. 무엇보다도 게이밍은 (현재로서) 어떤 애플리케이션보다 폭넓게 기반을 잡고 있다. 또한, 게이밍 소프트웨어 회사들이 이 기술을 빠르게 도입할 것이다. 게이머들은 언제나 좀더 몰입적인 경험을 원하기 때문이다. 뿐만 아니라, 게이밍 콘솔은 공간 음향을 실행하기 위해서 필요한 프로세싱 성능과 스피리컬(spherical) 오디오 트랙을 저장할 수 있는 메모리/저장 능력을 갖췄다.

■ 미래의 가능성

머지않아서 이어버드로 마이크로폰을 내장할 뿐만 아니라 가속도계에다 고속 양방향 무선 통신까지 내장함으로써 여타 시장까지 공간 음향을 활용하게 될 것이다. 그럼으로써 예를 들어서 홈 시어터로 교향악단의 연주를 감상하면서 청자가 머리를 돌려서 자신이 바라보는 방향에 따라서 목관악기 파트, 금관악기 파트, 현악기 파트를 좀더 분명하게 들을 수 있게 될 것이다.

군대에서도 이 기술을 활용할 수 있다. 고도의 첨단 방향성 오디오 마이크로폰과 함께 이 기술을 활용해서 예를 들어서 숲이나 사막이나 여타의 은폐 환경에서 적을 감지할 수 있다. 호흡이나 심장 박동을 필터링하고 감지함으로써 군인이 머리를 이리저리 돌려가면서 표적을 찾아낼 수 있다.

■ 맺음말

우리는 오디오를 마치 지문처럼 개인화 할 수 있는 시대로 접어들고 있다. 이러한 시대로 나아가기 위해서는 해결해야 할 과제들 또한 놓여 있다. 공간 음향은 초개인화(hyper-personalization)를 가능하게 하는 것으로서, 정밀한 머리 추적을 필요로 한다. 이를 위해서는 더욱 더 정교한 기술들이 필요하다. 현재로서 가장 폭넓게 기반을 잡고 있는 애플리케이션인 게이밍이 앞장을 서고 홈 시어터와 군용 애플리케이션 같은 여타 분야들이 그 뒤를 따를 것이다.

당장에는 가속도계를 내장한 VR 헤드셋이나 이어버드 같은 것들이 등장할 것이다. 하지만 좀더 시간이 지나면 단지 듣는 것만이 아니라 촉각으로도 느끼는 청각 경험이 가능해질 것이다. 이것은 오디오 기술에 있어서 또 다른 새로운 챕터를 열 것이다. 우리는 듣고, 몰입하고, 적응하고, 진화할 것이다. 소리가 한이 없는 것과 마찬가지로, 궁극의 청취 경험에 대한 우리의 추구도 끝이 없다. 이러한 추구가 우리를 새로운 가능성을 향해서 나아가도록 만들 것이다.

※ 글
존 가바이(Jon Gabay)는 전기공학을 전공한 후에 방위, 상업용, 산업용, 컨슈머, 에너지, 의료 분야 회사들에서 설계 엔지니어, 펌웨어 코더, 시스템 디자이너, 연구원, 제품 개발자로 일했다. 대안 에너지 연구자이자 발명가로서 자동화 기술과 관련해서 Dedicated Devices라는 회사를 설립하고 2004년까지 운영했다. 이후로 차세대 엔지니어와 학생들을 위해서 연구개발, 기사 기고, 기술 발명에 매진하고 있다.