[IT이슈] 너를 만났다 - VR(가상현실)을 통한 딸과의 만남, 어떻게?

인기검색어에 뜬 '너를 만났다'를 보고 새로운 드라마가 하나? 하고 무심결에 어떤 내용인지 봤다가 팔에 소름이 돋았다. 이번 포스팅에서는 MBC 스페셜, VR 휴면다큐멘터리 '너를 만났다'에서 어떻게 가상현실(VR), 딥러닝 음성합성 등의 기술들을 이용해 이별했던 딸과 엄마의 만남이 이루어질 수 있었는지 알아보고자 한다.

 

 

 

 

MBC 스페셜 - VR 휴면다큐, 너를 만났다

MBC 스페셜 831회 '너를 만났다'는 VR 휴먼다큐멘터리 특집으로 2월 6일 오후 10시 5분에 방송되고 난 후 많은 사람들의 심금을 울리고 있다. MBC 스페셜 '너를 만났다'는 현재 가장 최전선의 기술이라고 할 수 있는 딥러닝 음성합성, 가상현실 등의 기술이 게임과 같은 재미를 느낄 수 있는 컨텐츠가 아닌 사람의 마음을 움직있을까하는 의문에서 시작됐다.

 

혈액암으로 먼저 이별한 나연이라는 딸을 다시 한번 만나고 싶다는 엄마의 간절한 소망이 많은 최신 기술들을 통해 이루어지게 된 것이다.

 

(출처: 네이버 상업적 이미지 사용 검색)

 

 

"그럼, 나연이는 어떻게 가상 모델로 만들어질 수 있었을까?"

 

 

3D 스캐닝

첫번째로 소개할 기술은 '3D 스캐닝'이다. 3D 스캐닝이란 3D 스캐너를 통하여 대상이 되는 대상물의 형상 정보를 레이저, 백색광을 대상물에 투사하는 방식으로 추출한 뒤 이 정보를 바탕으로 3D 모델을 만들어내는 기술을 말한다. 아래 사진은 실제 3D 스캐너의 한 예이다.

 

3D Scanner (출처: 구글 무료 이미지 검색)

 

 

MBC 스페셜, VR 휴면다큐멘터리 '너를 만났다'에서는 나연이와 비슷한 얼굴과 체형을 생성해내기 위해 3D 스캐닝 기술을 사용했다. 나연이와 비슷한 얼굴과 체형을 가진 모델을 섭외한 후 160대의 카메라를 원형으로 배치한 3D 스캔 부스에서 동시에 촬영을 하는 방식으로 3D 모델을 제작했다.

 

(출처: 네이버 상업적 이미지 사용 검색)

 

3D 스캐닝을 활용한 대표적인 예로 프랑스의 '노트르담 성당'을 들 수 있다. 프랑스 노트르담 대성당은 작년에 발생한 화재로 첩탑과 일부가 소실된 상태가 되었다. 하지만 이 노트르담 대성당은 2010년부터 3D 레이저 스캐너에 형상이 담겨왔다고 하는데 위치 정보 데이터 10억개 이상으로 완벽한 디지털 노트르담 성당의 모습을 갖고있었던 것이다. 

 

또 갤럭시 노트 10 플러스를 사용하는 경우 '3D 스캐너'라는 어플을 통해 '3D 스캔' 기술을 만날 수 있다. 아쉽게도 난 갤럭시 10e를 쓰기때문에 사용해볼 수 없다... 궁금하신 분들은 아래 영상을 확인해보기 바란다. 

 

---

갤럭시 노트 10 플러스만 가능한 3D스캔 과연 실제 성능은?

 

 

딥러닝 음성합성 

두번째로 소개할 기술은 '딥러닝 음성합성'이다. 음성합성은 쉽게 말하면 사람이 직접 녹음하지 않고도 텍스트를 사람의 음성으로 표현해내는 기술을 말한다. 즉, 말소리의 음파를 기계가 자동으로 생성해내는 것이다.

 

이제 우리에게 익숙한 인공지능 스피커를 예로 들 수 있다. 인공지능 스피커가 말해야하는 그 무수히 많은 말을 아나운서 혹은 성우가 하나하나 녹음하지 않았을 것이다. 이또한 음성합성의 기술 덕분이다.

 

 

 

MBC 스페셜, VR 휴면다큐멘터리 '너를 만났다'에서는 딥러닝 음성합성을 나연이와 최대한 비슷한 목소리를 만들어내기 위해 사용했다.

 

그 과정이 쉽지만은 않은데, 비슷한 또래 아이 5명이 각각 800문장씩 녹음해 10시간 분량의 데이터를 만들었고 얼마 남아있지 않은 나연이의 목소리도 같이 딥러닝에 사용됐다고 한다. 음 정확히 설명되어 있지는 않치만 생성해낸 데이터 + 나연이 목소리를 같이 학습데이터로 사용한 후 재생성한 목소리 중 최대한 비슷한 목소리를 찾은 것이지 싶다. 

 

(출처: 네이버 상업적 이미지 사용 검색)

 

 

가상현실(VR)

마지막으로 가상현실은 가상의 세계가 마치 현실처럼 느껴지게끔 하는 기술을 말한다. VR 체험이나 VR 게임장과 같은 것들이 많이 있기 때문에 한번쯤은 체험해 보았을 것이다.

 

VR을 통해 볼 수 있는 나연이의 모습에 대해 느끼는 바는 개인에 따라 다르겠으나 제작한 사람의 말에 의하면 리얼타임 CG와 후보정 CG는 완전히 다른 것이라고 디지털 사람을 구현하는 것에 대한 어려움을 토로했다.

 

 

 

MBC VR 휴먼다큐 제작진은 2019년 여름부터 가상현실과 특수영상 기술을 가진 '비브스튜디오'와 협력했다고 한다.

 

---

비브스튜디오(VIVE STUDIOS) 공식 홈페이지

VIVE STUDIOS

 

 

'너를 만났다' 영상을 확인하려면?

영상이 궁금하신 분들은 아래 링크로 들어가 시청하면 좋을 것 같다. (유튜브 MBC 다큐멘터리 공식 채널)

 

---

 

[VR 휴먼다큐멘터리 - 너를 만났다] 세상 떠난 딸과 VR로 재회한 모녀

 

 

마치며

물론 아직 VR이 주는 어색함이나 부족한 완성감은 있지만 첫 단추라는 것이 중요한 것 아닐까. 그리고 너를 만났다 제작자의 인터뷰처럼 그 시간을 함께, 그 장소에 같이 있는 것 같은 '느낌'이 이런 치유 목적 VR의 핵심인 것 같다.

 

늘, 부정적인 사건사고만 난무하던 때에 가슴 따뜻한 이슈이다. 아직 갈길이 멀지만 더욱더 발전되어서 나연이 어머니처럼 조금이나마 치유받는 사람이 많이 생겼으면 좋겠다. (다만 사용화되려면... 멀었겠죠ㅠㅠ)

 

---

관련포스팅

정치, 연예계에 깃든 딥페이크 영상 주의보!

[보안이슈] 정치, 연예계에 깃든 딥페이크 영상 주의보!