엔진비주얼웨이브, 셀바스AI와 한국어 특화 디지털 휴먼 제작…배우 이승희 투영

(엑스포츠뉴스 김유진 기자) 국내 연구진의 노력 끝에 내 모습과 닮은 것을 넘어서 내 목소리로 말하는 가상 인간 제작 기술이 개발됐다. 실제 사람의 얼굴 스캔과 목소리 녹음 데이터를 학습한 인공지능을 활용해 해당 인물의 모습으로 자연스럽게 말할 수 있는 한국어에 특화된 디지털 휴먼의 상용화가 한 걸음 더 가까워졌다.

한국콘텐츠진흥원(KOCCA) 주최 정부 지원 사업 주관사인 엔진비주얼웨이브는 실제 인물의 특성을 투영한 디지털 트윈스 플랫폼 기술 개발 3개년 프로젝트가 성공적으로 마무리 단계에 돌입했다고 밝혔다.

콘텐츠미디어그룹 NEW의 VFX계열사 엔진비주얼웨이브는 인공지능 전문 기업 셀바스AI와 함께 텍스트 입력만으로 자연스러운 한국어 말하기가 가능한 실사형 디지털 휴먼 제작 기술을 개발했다. 

양사는 개발 기술의 시연을 위해 영화 '청년경찰', 연극 '날 보러와요' 등 다양한 작품에 출연해 눈길을 사로잡았던 신인 배우 이승희의 디지털 휴먼을 제작했다. 양사가 제작한 디지털 휴먼은 얼굴만 교체하는 일반적인 버추얼 인플루언서와 달리, 4D 스캔 기반의 언리얼 엔진으로 구동되는 모델이다.

이번 프로젝트를 위해 엔진비주얼웨이브의 R&D 연구소 랩오일(LAB51)은 한국어에 최적화된 립싱크 애니메이션 생성 기술인 코어립스(CoreLips)와 인어데이(In-a-Day) 디지털 휴먼 기술을 적용했다. 코어립스는 랩오일이 카이스트 출신 연구진을 주축으로 자체 개발한 기술로, 자음과 모음으로 구성된 한국어 음소 구조에 따른 입술 및 안면 근육 움직임을 분석하여 자동으로 스피치 애니메이션을 생성할 수 있다. 

그동안 디지털 휴먼의 입술 그래픽 기술 개발은 주로 해외에서 영어 기반으로 이루어져 온 만큼 이번 프로젝트가 한국어 구현에 특화된 디지털 휴먼 고도화 및 대중화에 마중물 역할을 할 것으로 기대를 모으고 있다. 랩오일의 인어데이 디지털 휴먼 기술은 기존의 작업 시간과 투입 비용을 획기적으로 단축해 하루 만에 실제와 흡사한 사실적인 디지털 휴먼 제작을 가능케 한다.



여기에 국내 최고 수준의 음성기술을 보유한 셀바스AI의 음성합성(TTS, Text-To-Speech) 기술을 적용했다. 음성합성은 입력된 텍스트를 자동으로 실제 사람처럼 자연스러운 목소리를 생성해 주는 기술이다. 

셀바스AI는 특화 대본을 기반으로 배우 목소리를 녹음한 후, 인공지능을 통한 학습 후 이승희 배우의 목소리를 재현하는 TTS 엔진을 제작했다. 또 자체 개발한 '개인화 TTS 기술'을 활용해 짧은 시간 녹음을 한 음성 데이터만으로도 고품질 음성을 재현했으며, 또 다른 자체 개발 기술력인 ‘발화 스타일 학습 기술’을 통해 모델이 말을 하는 특징을 잡아내 음성 생성에 반영될 수 있도록 했다.

이를 통해 고품질 음성 재현 및 디지털 휴먼의 입술과 안면 근육의 움직임이 목소리와 이질감이 들지 않도록 배우의 발화 습관 재현에 성공했다. TTS 엔진은 실제 사람의 음성을 기반으로 목소리를 생성해 주기 때문에 디지털 휴먼 운영의 효율성을 획기적으로 향상시킬 수 있다는 장점이 있다.

이번 프로젝트 성과에 대해 엔진비주얼웨이브의 R&D연구소 랩오일 송재원 소장은 "자신의 목소리로 이야기하는 실존 인물과 흡사한 인공지능 디지털 휴먼을 제작하는 데 있어 큰 기술적 도약을 이뤘다"라고 전했다. 

또 셀바스AI의 HCI Sector 이항섭 전무는 "엔진비주얼웨이브와의 협업을 통해 영상기술과 음성기술에 각각 장점을 가진 업체가 협력했을 때 완성도 높은 디지털 휴먼 제작이 가능함을 확인할 수 있었다"라며 이번 성과를 통한 향후 다양한 방면에서의 발전 가능성을 시사했다.

한국어 말하기에 특화된 디지털 휴먼 제작 기술은 앞으로 영화 및 게임 속 가상 캐릭터를 발전시킨 디지털 액터 등 콘텐츠 분야는 물론이고 키오스크, 개인비서 등 다양한 산업과의 융복합을 통해 가상환경 기반 산업의 활력을 불어넣을 수 있을 것으로 보인다. 

엔진비주얼웨이브는 오는 12월 6일부터 9일까지 대구에서 열리는 컴퓨터 그래픽 분야 국제 기술 컨퍼런스 '시그래프 아시아 2022'에 참가해 디지털 휴먼 시연 및 디지털 환경 스캔 등 다양한 미래 기술을 선보일 예정이다.

한편 양사는 지난해부터 디지털 휴먼 개발 및 고도화를 위한 업무협약을 체결하고 가상 공연, 버추얼 인플루언서, 가상 아나운서, 아바타 키오스크 등 다양한 서비스에 셀바스AI의 음성합성(TTS), 음성인식(STT) 솔루션 및 인공지능 융복합 기술을 적용하며 협업하고 있다.

사진 = 엔진비주얼웨이브

김유진 기자 slowlife@xportsnews.com