개발자 컨퍼런스 유나이트 서울 2019에서 인터넷상에서 선풍적인 인기를 끌고 있는 버츄얼 유튜버에 대한 기술적인 조언을 얻을 수 있는 강연이 마련됐다.
이날 강연에는 오지현 유니티 테크놀로지스 에반젤리스트 팀장과 자이언트스텝의 문기영 실장이 참여하여 랜선라이프의 핵인싸 버추얼 유튜버 : 세아와 지아로 알아봅시다!라는 주제로 발표를 진행했다. 세아와 지아는 각각 세아스토리, GIA ON 채널을 통해 활동하고 있는 버츄얼 유튜버로, 모두 유니티를 활용하여 만들어졌다.
버츄얼 유튜버란, 실제 사람이 아닌 가상의 캐릭터가 스트리머가 되어 게임, 문화 등 다양한 주제로 인터넷 방송을 진행하는 새로운 방식의 콘텐츠다. 그 시초에 대해서는 여러 의견이 있지만, 버츄얼 유튜버라는 개념을 널리 알리고 대중화로 이끈 것은 일본의 키즈나 아이가 대표적이다.
버츄얼 유튜버를 만드는 데 필요한 가장 대표적인 기술은 라이브 모션 캡처다. 기존에는 먼저 모션 캡처를 한 뒤, 만들어진 데이터에 렌더링을 합성하여 캐릭터를 만드는 복잡한 절차가 필요했다. 하지만 유니티에서 제공하는 기술을 활용하면 모션 캡처와 렌더링을 실시간으로 진행할 수 있다. 버츄얼 유튜버 지아를 만든 자이언트스텝의 문기영 실장은 강단에 올라 지아의 개발 과정을 소개하며 버츄얼 유튜버를 만들기 위한 기술적인 단계를 소개했다. 그는 지아를 만들기 위해 유니티 엔진 사용, 모션 캡처, 얼굴 애니메이션 캡처, 손가락 캡처까지 4개의 단계를 거쳤다.
특히, 지아의 모션캡처에는 옵티트랙과 퍼셉션 뉴론이 사용됐다. 모션 캡처를 위한 장비는 현재 100만 원대에서 갖출 수 있다. 문기영 실장은 기존에 모션캡처를 하려면 적어도 5천만 원가량의 비용이 필요했지만, 이제는 100만원 대에서 누구나 구매할 수 있게 되었다고 덧붙였다.
손가락 캡처는 지아를 만들 때 가장 많은 고민이 들어간 부분이다. 모션 캡처에 사용된 옵티트랙과 퍼셉션 뉴론은 손가락의 움직임까지 캡처하기에는 다소 부족한 편으로, 만약 보다 섬세한 손의 움직임을 구현하고 싶다면 추가 장비를 구입해야 한다. 자이언스텝에서는 Noitom사의 Hi5 장갑을 활용했다고 전했다. 지아의 얼굴 애니메이션 캡처에는 아이폰 X의 트루뎁스 카메라 기능이 활용됐다. 아이폰 전면의 뎁스 카메라가 사람의 눈에는 보이지 않는 점을 얼굴에 쏘고, 그 정보를 읽어서 메쉬를 생성한다. 이 데이터를 활용하면 다양한 표정의 구현이 가능하다.
이때 필요한 것이 하나 이상의 얼굴 표현을 전부 구축해두는 블랜드셰이프다. 아이폰X는 총 52개의 블렌드셰이프를 지원하므로, 이를 제대로 활용하려면 52개의 블렌드셰이프를 미리 준비해야 한다. 문기영 실장은 버추얼 유튜버의 경우 어색하지 않고 예쁘게 나오는 것도 중요하므로, 아티스트의 역할이 상당히 크다고 설명했다.
얼굴 애니메이션 캡처에서는 얼굴 모션 튜닝 과정도 꼭 필요하다. 목소리를 연기하는 성우가 그에 어울리는 표정을 연기하지 못할 때도 있기 때문이다. 지아의 경우 성우의 입이 조금만 움직여도 입을 크게 벌리거나, 실제 성우의 모습보다 눈을 크게 깜박이는 방식으로 튜닝이 적용됐다. 튜닝은 블랜드셰이프의 일정 값을 바꾸는 과정이며, 눈이나 입 등 튜닝이 필요한 부분과 관련된 근육의 가중치를 더해주는 방식으로 진행된다.
문기영 실장은 끝으로 버츄얼 유튜버 개발을 고려하는 개발자들을 위해 실제 지아의 개발 과정을 통해 깨달을 수 있었던 몇 가지 현실적인 조언을 더했다. 그는 빠르게 움직이는 입 모양의 싱크를 자연스럽게 맞추려면 패킷을 모았다가 한 번에 보내는 알고리즘인 네이글(Nagle)을 꺼두는 것이 좋고, 불필요한 스트레스를 줄이려면 가능한 40만 원대 이상의 WIFI 장비를 사용해야 하며, 사용하지 않는 플러그인 레거시 코드는 미리 삭제하는 것이 좋다고 조언하며 자신의 발표를 마무리했다.