실사냐 파괴냐? 엔비디아 DLSS 5에 기대와 우려 교차

엔비디아가 차세대 그래픽 기술 'DLSS 5'의 작동 방식과 적용 효과를 담은 영상을 2일 공개했다. 이용자들 사이에서는 실사급으로 변화하는 그래픽에 대해 높은 기대와 원작의 미술적 방향이 달라지고 개성이 사라질 수 있다는 우려가 교차하고 있다. 특히 출시에 앞서 렌더링 기능이 유출되면서 각종 게임들에 적용된 영상이 대거 공개되고 있어 이용자들의 갑론을박이 계속해 이어지고 있는 모습이다.

엔비디아가 이번에 영상을 통해 소개한 'DLSS 5'는 '3D 가이드 뉴럴 렌더링'이다. 기존 DLSS가 AI로 낮은 해상도를 업스케일링하거나 중간 프레임을 생성해 화질과 성능을 보완했다. 이번에 소개한 DLSS 5는 여기에 인공지능(AI)을 활용해 풍부한 조명 및 재질 디테일을 생성한다. 실시간으로 진행되는 게임의 특성상 계산량의 한계로 간소화했던 피부와 머리카락, 천 등에 대한 빛의 반응을 더 사실적으로 표현할 수 있다는 것이 엔비디아의 설명이다.

DLSS 5를 사용하면 AI가 게임 엔진이 매 프레임 만든 색상 이미지와 물체의 움직임을 나타내는 모션 벡터를 입력받아 이를 바탕으로 피부 내부에서 빛이 퍼지는 효과, 머리카락을 통과하는 빛, 사물이 맞닿는 부분의 그림자 등을 보강한다. 함께 공개한 비교 자료에서는 머리띠를 두른 요리사의 얼굴 비율을 유지하면서 머리띠 주변의 그림자와 귀를 통과하는 빛을 개선한 사례를 공개했다.

DLSS 5는 개발자가 결과를 조절하는 기능도 준비했다. '스트럭처 인텐시티'는 반사와 그림자, 피부의 빛 산란 같은 세부 표현의 강도를, '톤 인텐시티'는 전체적인 조명과 색조를 조정한다. 개발진은 게임에 어울리는 AI 모델을 선택하거나 장면마다 다른 모델을 사용할 수 있다. 특정 대상을 구분하는 마스크 기능을 이용하면 배경에는 효과를 강하게 적용하면서 캐릭터 얼굴의 변화는 줄이는 식으로 조절하는 것도 가능하다.

엔비디아는 실행 환경과 지원 일정도 공개했다. 엔비디아의 설명에 따르면 지난 3월 두 장의 RTX 5090을 사용했던 초기 시연 이후 최적화를 거쳐, 한 장의 그래픽카드에서 동작하는 수준으로 개선됐다. 첫 공식 지원작은 'NBA 2K27'이며, 우리나라 기준으로 9월 4일 오후 1시부터 지포스 RTX 50 시리즈 PC와 노트북에서 이용할 수 있다.

함께 공개한 'NBA 2K27'의 DLSS 5 적용 스크린샷은 케이드 커닝햄과 타이리스 핼리버턴 등 유명 선수들은 물론 경기장의 관중이나 카메라맨에게까지 적용한 스크린샷을 공개했다. 한층 풍부한 조명과 재질 표현이 눈에 띈다.

그리고 아직 정식 출시도 되지 않았지만, 이미 유튜브나 레딧은 물론 각종 게임 관련 커뮤니티에는 DLSS 5를 적용한 영상과 스크린샷이 대거 공개되고 있다. 지난 8월 26일 'NBA 2K27' PC 사전 플레이 버전에서 뉴럴 렌더링 기능을 담은 DLL 파일이 발견되면서 유출됐고, 모더들이 이를 다른 게임에서 작동시키는 방법을 찾아냈고, 각종 게임에 DLSS 5를 적용하고 있다.

모더들은 '컨트롤', '사이버펑크 2077', '스타필드', '파이널 판타지 7 리버스', '더 라스트 오브 어스 파트 2', '엘든 링' 등 다양한 게임에 DLSS 5를 적용했고, 현재 유튜브 등에서 쉽게 만날 수 있다.

여기에 출시된 지 10년 안팎이 지난 '피파 16'과 '피파 17'에 적용한 영상이 올라왔으며, '스카이림' 이용자들도 달라진 화면을 공유했다. 각 게임들은 비공식 적용이긴 하지만, '피파 17'과 같은 게임에서는 실제 선수와 닮아진 얼굴을 반기는 반응이 나왔으며, 10년 전 게임이 최신 게임이 됐다는 평가까지 나왔을 정도다.

물론 호평만 이어지고 있지는 않다. 비공식 지원이긴 하지만, '파이널 판타지 7 리버스'와 같은 작품에서는 클라우드와 티파의 이미지를 보고, 얼굴이 사진 필터를 거친 것처럼 보이거나 원래 디자인과 멀어졌다고 지적하고 있으며, 호평이 주를 이뤘던 '피파 17' 같은 게임도 조명 처리가 주변과 맞지 않는다는 이야기가 나왔다.

게임을 개발하고 있는 개발자들 사이에서도 평가가 엇갈리고 있다. 지난 3월 DLSS 5 최초 공개 당시 'GTA 5', '데스 스트랜딩 2' 등에 참여한 애니메이터 마이크 요크는 '바이오하자드 레퀴엠'에 DLSS 5가 적용된 시연 화면을 보고, 조명 변화에 그치지 않고 캐릭터가 다른 인물처럼 보인다고 비판했다. AI가 화면을 다시 그리는 과정에서 개발진이 의도한 인상이 달라질 수 있다는 우려를 내비쳤다.

반면, '킹덤 컴: 딜리버런스 2' 개발을 이끈 다니엘 바브라는 유출판을 직접 시험한 뒤 긍정적인 평가를 내놨다. 그는 지난 8월 30일 적용 결과를 공개하며, 기존 조명 때문에 충분히 드러나지 않던 얼굴의 세부 표현이 살아났다고 설명했다. 아티스트의 작업 화면에서는 괜찮았던 얼굴이 실제 게임에서는 밋밋하게 보이는 문제가 있었는데, DLSS 5를 통해 의도했던 모습에 가까워졌다는 것이다.

또 그는 모자와 후드, 투구가 얼굴에 드리우는 그림자와 버클, 끈, 주머니 같은 작은 요소의 그림자 표현을 높이 평가했다. 개발 과정에서 충분히 구현하지 못해 아쉬웠던 부분을 보완해줬다는 설명이다. 다만 자신이 시험한 환경에서는 프레임이 절반으로 줄었다는 문제도 함께 짚었다.

엔비디아가 공개한 자료에 따르면 UHD 해상도에서 NBA 2K27을 DLSS 5와 레이트레이싱, 프레임 생성 6배, 퍼포먼스 모드 등을 적용해 울트라 옵션으로 구동하면 지포스 RTX 5090이 380fps, 지포스 RTX 5080이 233fps다. 높은 초당 프레임을 보여주고 있지만, 프레임 생성이 6배 반영된 것으로 모더들은 실제 적용 시 30~50% 정도 프레임이 하락한다는 의견을 전하고 있다. 출시를 앞두고 있는 DLSS 5의 뉴럴 렌더링이 정식 출시 후 어떤 반응을 이어갈 수 있을지 주목된다.