헬로티 서재창 기자 |

엔비디아의 모델들은 은행과 소매업계의 음성 자동화 고객 서비스 라인을 지원하고 비디오 게임과 소설 속 캐릭터에 생동감을 불어넣는 한편, 디지털 아바타용 실시간 음성 합성을 지원한다.

엔비디아 크리에이티브 팀은 AI의 위력을 다루는 비디오 시리즈에 삽입돼 풍부한 표현력을 자랑하는 내레이션에도 음성 합성 기술을 사용하고 있다. 

표현적 음성 합성은 엔비디아 연구진이 대화형 AI 분야에서 진행 중인 여러 연구의 일부다. 대화형 AI는 음성 합성외에도 자연어 처리, 자동 음성 인식, 키워드 검출, 오디오 개선 등 여러 요소를 포함한다.

엔비디아 GPU에서 효율적으로 실행되도록 최적화된 최첨단 연구의 일부는 엔비디아 NeMo 툴킷을 통해 오픈소스로 제작됐으며, 엔비디아의 NGC 컨테이너 허브와 기타 소프트웨어에서 제공된다. 

엔비디아 연구진과 크리에이티브 전문가들은 음성 합성 기술을 실제 사례에 접목해 대화형 AI의 위력을 증명하고 있다. 그 일환으로 엔비디아는 ‘아이엠 AI’의 제작에 혁신적 음성 합성 모델을 사용한다. 아이엠 AI는 산업 전반을 재편하는 세계적 혁신을 소개하는 비디오 시리즈다.

얼마 전까지만 해도 해당 영상의 내레이션은 사람이 직접 담당했다. 기존 음성 합성 모델의 경우 합성된 음성의 속도와 음정 제어에 한계가 존재했다. 그 결과, AI를 활용한 내레이션은 인간 화자만큼 시청자의 정서적 반응을 강하게 끌어내지 못했다.

이러한 경향은 엔비디아의 텍스트-투-스피치 연구진이 RAD-TTS처럼 보다 강력하고 제어 가능한 음성 합성 모델을 개발하면서 변화했다. RAD-TTS는 시그라프 2021의 실시간 라이브 쇼케이스에서 우승한 엔비디아의 데모에서도 소개된 바 있다. 해당 모델은 텍스트-투-스피치 모델을 개인의 음성으로 훈련시켜 텍스트 일체를 해당 화자의 목소리로 즉시 변환할 수 있다. 

RAD-TTS의 또 다른 음성 변환 기능은 화자의 말뿐 아니라 노래까지 다른 화자의 목소리로 전달한다. 인간의 목소리가 곧 악기라는 아이디어에 영감을 얻은 RAD-TTS 인터페이스는 합성된 목소리의 음정과 길이, 분위기 전반을 프레임 단위로 세밀히 제어하도록 돕는다.

아이엠 AI의 프로듀서는 RAD-TTS 인터페이스를 사용해 대본 내용을 직접 녹음한 다음, 자신의 음성을 여성 내레이터의 목소리로 변환했다. 이 기본 내레이션을 바탕으로 AI의 음성이 성우의 육성처럼 들리게 연출했다. 즉, 합성 음성을 수정해 특정 단어를 강조하고 영상의 분위기를 완벽히 표현하도록 내레이션의 속도를 변경했다. 

RAD-TTS 모델의 기능은 내레이션을 덧입히는 수준을 넘어선다. 문자 음성 변환 프로그램은 게이밍, 발성 장애를 가진 개인의 지원, 사용자의 목소리로 언어 사이를 오가는 번역 등에 활용된다. 더 나아가 유명 가수의 공연도 재현한다. 곡의 멜로디뿐 아니라 노래 너머의 감정도 표현 가능하다.

엔비디아 NeMo는 GPU 가속 대화형 AI를 위한 오픈소스 파이썬 툴킷이다. 연구자와 개발자, 크리에이터의 애플리케이션에 적합한 음성 모델의 신속한 실험과 미세 조정에 기여한다.

NeMo의 간편한 API와 사전 훈련된 모델들은 문자 음성 변환과 자연어 처리, 실시간 자동 음성 인식용 모델의 개발과 커스터마이징을 지원한다.

일부 모델은 엔비디아 DGX 시스템에서 수만 시간 분량의 오디오 데이터로 훈련된다. 개발자들은 자신의 활용 사례에 맞춰 모델 일체를 미세 조정한다. 이때 엔비디아 텐서 코어 GPU에서 혼합 정밀도 컴퓨팅을 사용해 훈련 속도를 높인다. 

엔비디아 NeMo는 모질라 커먼 보이스로 훈련한 모델을 NGC 카탈로그를 통해 제공한다. 모질라 커먼 보이스는 76개 언어와 1만4000시간 분량의 음성 데이터를 크라우드 소싱 방식으로 수집한 데이터세트다. 엔비디아는 해당 프로젝트에 대한 지원으로 세계 최대의 공개 데이터 음성 데이터세트를 구축하고 음성 기술을 대중화할 방침이다.