일레븐랩스가 원본 화자의 감정과 전달 방식까지 유지하는 차세대 AI 더빙 모델을 선보이며 콘텐츠 현지화 시장 공략에 나섰다. 영상·오디오 번역 과정에서 발생하던 감정 손실 문제를 줄이고 다국어 제작 효율성을 높여 K-콘텐츠의 해외 유통 확대를 지원하겠다는 전략이다.

일레븐랩스는 16일 신규 AI 더빙 모델 'Dubbing v2'를 공개했다고 밝혔다.

이번 모델은 원본 음성의 감정, 억양, 말의 속도와 호흡 등을 분석해 번역된 음성에도 반영하는 것이 핵심이다. 콘텐츠 제작사와 미디어 기업, 마케팅 조직 등이 보다 적은 비용과 시간으로 다국어 콘텐츠를 제작할 수 있도록 지원하는 데 초점을 맞췄다.

기존 AI 더빙은 음성을 텍스트로 변환한 뒤 번역하고 다시 음성을 생성하는 과정에서 화자의 감정이나 말투가 희석되는 한계가 있었다.

Dubbing v2는 원본 음성의 퍼포먼스 자체를 학습해 다른 언어에서도 유사한 표현력을 구현하도록 설계됐다. 또한 번역 문장을 각 언어의 화법에 맞게 조정하고 발화 타이밍을 자동 정렬해 후반 작업 부담을 줄이는 기능을 제공한다.

일레븐랩스는 이번 모델이 90개 이상 언어를 지원하며 자동 음성 복제 기능을 통해 별도 설정 없이도 화자의 음색과 특성을 유지할 수 있다고 설명했다. 이는 글로벌 시장을 겨냥한 영상, 팟캐스트, 교육 콘텐츠, 기업 홍보물 제작에 활용될 수 있는 요소로 평가된다.

특히 한국 콘텐츠 산업에서는 드라마와 영화, 웹툰·웹소설 기반 지식재산권(IP), 게임, 애니메이션, 크리에이터 콘텐츠의 해외 진출 수요가 확대되고 있다. 업계에서는 AI 더빙 기술이 기존 성우 녹음과 번역, 편집 중심의 현지화 공정을 보완하며 콘텐츠 수출 과정의 비용 구조를 개선할 수 있을 것으로 보고 있다.

국내 방송 분야에서도 관련 기술 검증이 진행됐다. SBS는 다큐멘터리 '괴물의 시간' 제작 과정에서 일레븐랩스의 음성 AI 기술을 활용해 실존 인물의 음성을 재현했으며, 이를 통해 실제 방송 제작 환경에서의 적용 가능성을 확인했다고 밝혔다.

AI 음성 기술은 최근 콘텐츠 제작 자동화와 글로벌 유통 확대 흐름 속에서 빠르게 고도화되고 있다. 업계에서는 단순 번역을 넘어 감정과 화자 특성을 유지하는 기술 경쟁이 본격화되면서 콘텐츠 기업과 방송사, 게임사, 브랜드 기업들의 AI 기반 로컬라이제이션 도입이 더욱 확대될 것으로 전망하고 있다.