플레이브, 메이브... 버추얼 아이돌 뒤에는 ‘게임 엔진’이 있었다?

최근 버추얼 아이돌이 대세로 떠오르고 있다. 버추얼 아이돌란 말 그대로 ‘가상’ 아이돌로, 실제 얼굴이 아닌 특정 캐릭터의 모습으로 활동하는 아티스트를 의미한다. 그중에서도 완전한 가상 인간으로 만들어진 사례와 실제 사람이 뒤에서 연기하고 있는 경우로 나뉘지만, ‘캐릭터의 탈을 쓰고 있다’라는 공통분모는 같다.

아직 조금 낯선 개념일 수 있지만, 버추얼 아이돌은 MZ세대를 중심으로 선풍적인 인기를 끌며 상당한 성과를 내고 있다. 대표적으로 블래스트의 버추얼 보이그룹 ‘플레이브’는 최근 엔믹스와 태민 등 쟁쟁한 경쟁상대를 이기고 MBC ‘쇼!음악중심’에서 1위를 차지하기도 했다.

이어 넷마블의 자회사인 메타버스엔터테인먼트에서 제작한 버추얼 아이돌 그룹 ‘메이브(MAVE:)’ 역시 데뷔곡 ‘판도라’가 스포티파이에서 약 4500만 스트리밍을 돌파, 공식 뮤직비디오 또한 유튜브 기준 통합 조회수 3000만 뷰를 넘어서며 큰 관심을 받고 있는 상황이다. 지난달에는 유튜브 라이브 방송을 진행하며 팬들과 소통하는 모습도 보여줬다.

이쯤에서 궁금해지는 것이 하나 있다. 버추얼 아이돌은 모두 가상의 캐릭터를 입고 있는 형태인데, 어떻게 라이브 방송을 하고, 음악 방송에 출연을 할 수 있는 걸까?

놀랍게도 이 비밀은 게임 엔진에 있었다. 대표적인 게임 엔진 중 하나인 언리얼 엔진은 앞서 언급한 ‘플레이브’와 ‘메이브’의 활동에 큰 기여를 했다.

넷마블 측 관계자에 따르면 ‘메이브’는 메타휴먼과 언리얼 엔진의 결합으로 탄생된 아이돌 그룹이다. 메타휴먼 기술을 통해 사실적인 표정과 파이프라인을 제작한 뒤 작업의 효율성을 위해 ‘실시간 렌더링’을 제공하는 언리얼을 선택했다는 설명이다.

여기서 실시간 렌더링이란 이용자가 명령을 내리면 즉각적으로 그래픽을 화면에 내보내는 기술을 의미한다. 이미지나 영상을 만들어내는데 오래 걸리는 오프라인 렌더링에 비해 실시간 렌더링은 SNS, TV쇼 뮤직비디오 제작, CF 등의 아이돌 활동에도 문제없이 활용할 수 있다.

2023년 언리얼 페스트에서는 박장호 메타버스엔터테인먼트 버추얼휴먼실 리얼타임 콘텐츠팀 팀장이 “리얼 타임 렌더링이 아닌 렌더링 수정 결과를 기다려야 하는 오프라인 엔진이었다면 기한을 맞추지 못했을 것”, “(언리얼) 레벨 시퀸스 시스템을 통해서 적은 인원으로 효율적으로 영상을 관리 및 제작할 수 있었다.”라고 메이브의 음악 방송 무대 제작 비화를 알린 바 있다.

‘플레이브’도 언리얼 엔진을 적극 활용하고 있다. ‘플레이브’는 유튜브 라이브 방송 등을 통한 팬들과의 적극적인 소통이 이루어지는 그룹으로, 캐릭터 뒤에 실제 사람이 존재한다. 이런 특수성으로 인해 사람이 손을 흔들거나 웃을 때 캐릭터가 ‘즉시’ 그런 행동을 따라 해야 원활한 커뮤니티케이션이 가능하다. 그리고 이를 언리얼 엔진이 돕고 있다.

구체적으로 이야기하자면, 사람의 움직임을 추적하는 ‘모션 캡처’는 사람의 움직임을 기록한 뒤 대부분 후가공을 거쳐야 한다. 실제 사람과 그 사람이 연기하고 있는 캐릭터의 비율이 완전 일치하기는 어렵기 때문이다. 하지만 라이브 방송과 같이 후가공 작업을 거치기 어려운 경우에는 모션캡처 데이터를 실시간 스트리밍하고 리타겟팅하는 언리얼 엔진의 ‘라이브 링크’ 기능을 이용하면 이런 캐릭터와 사람과의 충돌을 예방할 수 있다.

또한 언리얼 엔진은 매 순간 충돌을 피하는 움직임을 자동으로 계산하고 적용해 주는 ‘실시간 간섭 회피 솔루션’을 통해 손이 몸 안으로 들어가거나 팔이 몸통을 뚫고 들어가는 등의 오류를 줄여, 보다 자연스러운 소통을 할 수 있게 돕는다.

아직 언리얼보다 사례가 많은 건 아니지만, 유니티 엔진을 기반으로 삼은 버추얼 아이돌도 등장하고 있다. 그 주인공인 ‘이오닛’은 지난 28일 데뷔한 5인조 버추얼 보이 그룹으로, 나수아를 개발한 버추얼 휴먼 전문 기업인 온마인드 소속이다.

온마인드 측 관계자의 설명에 따르면 회사는 유니티 엔진을 통한 실시간 애니메이션 구현 기능을 장기간 연구해 왔고, 이를 통한 섬세한 얼굴 표정 구현 기술은 국내외에서 인정받고 있다. 해당 기술을 버추얼 아이돌 ‘이오닛’에게도 적용해 팬들과의 소통에 필요한 독창적인 기술력을 선보일 예정이라는 포부다.

한편, ‘이오닛’은 12일 공식 SNS 계정을 통해 데뷔 싱글 앨범 ‘루모스(LUMOS)’의 모든 수록곡 트랙 비디오를 공개했다.

한 게임업계 관계자는 “최근 새롭게 데뷔한 SM의 버추얼 아이돌 ‘나이비스’는 물론 꾸준히 사랑을 받아온 ‘플레이브’, ‘이세계 아이돌’ 등 버추얼 아이돌은 엔터테인먼트 업계에서 대세로 자리 잡은 상황이다.”, “그만큼 실시간 고품질 렌더링을 제공하는 게임 엔진에 대한 니즈가 점점 더 커질 수밖에 없다.”라고 말했다.