[동아게임백과사전] 없으면 4K는 꿈꾸기도 힘들다. 업스케일링 기술이 대세

인류에게 진짜 4K 게이밍은 아직 이른 것일까? 지포스 RTX 5090도 출시를 앞둔 시점에 무슨 이야기냐고 반문할 수 있겠지만, 일단 25년 1월 현재 최고 성능을 자랑하는 지포스 RTX 4090도 DLSS와 같은 기능의 도움이 없다면 최신 게임을 모두 최고 옵션으로 4K 해상도에서 초당 60프레임을 유지하는 것은 거의 불가능한 이야기에 가깝다.

실제로 지포스 현존 최강인 RTX 4090을 사용해도 ‘더 위쳐 3: 와일드 헌트’를 레이트레이싱(이하 RT)을 포함한 모든 옵션을 최고로 세팅하고 DLSS의 도움 없이 즐기면 초당 50프레임도 유지가 힘들다. 차세대 버전으로 그래픽을 올려주기는 했지만, 철이 이미 한참 지난 ‘위쳐 3’마저 진짜 4K 게이밍을 즐길 수 없고, RT 옵션이 더 발전한 ‘사이버 펑크 2077’ 같은 게임에서는 더 절망적인 수치가 나온다. 최근에 등장한 그래픽이 더 좋은 게임들은 말할 것도 없다.

그리고 이러한 상황은 지포스 RTX 5090이 나와도 상황은 크게 달라지지 않을 것으로 보인다. 일단 DLSS4를 제외한 지포스 RTX 5090의 성능이 얼마나 올랐는지는 아직 정확하게 알기가 힘들지만, 가장 큰 문제는 게임의 최적화다. 정말 일부 게임사를 제외하면 게임사나 개발자가 최적화를 할 생각이 없다. 뭐 이제 최적화는 게임 개발자들의 로스트 테크놀로지가 된 수준이다.

특히 각종 빛 처리를 개발자 손수 한 땀씩 그리던 과거와 달리 그래픽카드에 모든 것을 떠넘기고 있다. RT를 사용하지 않으면 빛 처리가 엉망인 게임들이 있다. 이런 상황이다 보니 그래픽 카드의 엄청난 자원을 요구하는 RT를 사용하지 않을 수 없으니 제대로 된 4K 게이밍은 점점 더 불가능에 가까운 상황이다.

이에 그래픽 카드 제조사들은 게이머들이 더 나은 환경에서 게임을 즐길 수 있도록 업스케일링 기술을 제공하고 있다. 그래서 개발자들이 최적화에 전혀 손을 안 대게 만드는 악순환이 시작된 느낌이기도 하다. 업스케일링 기술은 흔히 저해상도 이미지나 영상을 고해상도로 변환하는 기술을 말한다. 실제로 구동되는 화질이 좋지 못하지만, 좋게 만들어준다고 이해하면 편하다. 마치 소개팅에 앞서 주선자가 전해온 필터가 씌워진 사진 같은 느낌이다. 내가 보고 있는 사진 속 소개팅 상대와 사진 뒤에 있는 진짜 상대의 얼굴이 다른 것처럼 말이다.

조금 더 자세히 보면 우리가 흔히 4K라고 부르는 해상도는 가로 3,840 픽셀, 세로 2,160 픽셀로 구성된다. 화면이 3840×2160개의 픽셀로 구성되기에 총 픽셀 개수는 8,294,400개에 달하고, 초당 8,294,400개의 픽셀로 구성된 화면을 60장 이상 구현해야 이용자들이 초당 60프레임으로 게임을 즐길 수 있는 것이다.

물론 아무리 최신 그래픽 카드라고 해도 RT와 같은 빛 처리 등이 더해진 화면을 계속해서 렌더링하면 부하가 상당해 초당 프레임이 높게 나올 수 없다. 사람한테도 노트에 기둥만 그리다가 기둥 옆에 그림자까지 같이 그리라고 하면 시간이 더 걸리는 것처럼 말이다.

이때 업스케일링 기술을 사용할 수 있다. 만약 4K 대신 화면 해상도를 풀 HD인 1920x1080으로 줄였다면 총 픽셀 수는 4분의 1인 2,073,600개로 줄어들어 엄청난 여유가 생긴다. 사람이 같은 기둥을 그려도 아무래도 크게 그릴때보다 여유가 있다.

이렇게 업스케일링 기술을 통해 실제로 그래픽카드가 렌더링하는 해상도를 대폭 줄여서 더 많은 초당 프레임을 확보하고, 이미지 품질을 진짜 4K 해상도 대비 많이 떨어뜨리지 않는다면 게임을 플레이하는 이용자라면 후자를 선택하지 않을 이유가 없다. 그래서 최근 게이밍 시장에서는 업스케일링 기술이 대세로 자리하고 있다. 물론 화질 열화나 인풋렉 등 일부 단점은 따르지만 말이다.

가장 대표적인 업스케일링 기술은 앞서도 계속 언급해 왔던 엔비디아의 DLSS다. DLSS는 Deep Learning Super Sampling의 약자다. 이름에서 눈치를 챈 독자가 있겠지만, AI를 활용한 업스케일링 기술이다. 인공 지능과 딥 러닝 알고리즘의 힘을 활용해 게임 성능과 이미지 품질을 향상하도록 설계됐다.

DLSS는 게임을 더 낮은 해상도로 렌더링하고 딥러닝 알고리즘 사용해 이미지를 고해상도로 업스케일한다. 특히, 텐서코어를 활용해 실시간으로 AI 처리한다. 때문에 지포스 RTX 그래픽 카드가 필요하다. 결과적으로 DLSS를 활용하면 고품질의 비주얼을 생성하면서도 낮은 해상도로 게임을 렌더링할 수 있어 성능이 향상되고 초당 프레임이 높아질 수 있다.

게다가 DLSS 기술은 계속해서 발전하고 있다. 게임별 학습이 필요해 특정 게임에 한정되어 적용됐던 초기와 달리 이제는 정말 많은 수의 게임에서 활용할 수 있으며, 렌더링된 프레임 사이에 새로운 프레임을 생성하는 기능도 추가되어 더 부드러운 화면을 맛볼 수 있고, 이미지 품질도 과거보다 좋아졌다.

게다가 25년 1월 RTX 50 시리즈와 발표된 함께 공개된 DLSS 4의 경우 다중 프레임 생성 기술도 도입돼 더 부드러운 화면을 보여줄 것으로 기대된다. RTX 50 시리즈와 공개된 테크데모를 보면 초당 RT 옵션이 모두 켜진 화면이 19~20프레임으로 구동되다가 DLSS4를 적용하면 146~148 정도로 뻥튀기되는 마법이 펼쳐진다.

AMD는 FSR(FidelityFX Super Resolution)이라는 업스케일링 기술을 활용한다. DLSS와 달리 AI를 사용하지 않고, 공간 업스케일링 알고리즘을 사용하여 업스케일링을 구현한다. 덕분에 하드웨어에 구현 받지 않는 높은 범용성을 자랑한다. DLSS처럼 FSR을 위한 별도의 그래픽 카드가 필요 없다는 이야기다. FSR도 발전을 거치면서 시간적 업스케일링 알고리즘이 도입됐고, 프레임 생성 기능도 추가됐다.

다만 곧 출시를 앞두고 있는 FSR 4의 경우 RDNA 4 아키텍처용으로 개발됐으며, AI 하드웨어를 활용한 머신러닝 기반 업스케일링 기술이다. AMD의 신제품인 Radeon RX 9070 XT 및 9070 GPU에서만 사용 가능한 것으로 알려지고 있다.

인텔은 XeSS(Xe Super Sampling)라 불리는 AI 기반 업스케일링 기술을 활용한다. XeSS는 딥 러닝을 사용하여 저해상도의 이미지를 고해상도 렌더링 품질에 매우 가까운 이미지로 합성한다. 인접 픽셀의 하위 픽셀 세부 정보와 모션 보정된 이전 프레임을 재구성하여 작동하는 방식이다.

엔비디아의 DLSS와 유사한 접근 방식을 취하면서도, AMD의 FSR처럼 다양한 하드웨어에서 작동할 수 있도록 설계된 것이 특징이다. 인텔이 선보이고 있는 아크 그래픽 카드나 아크 기반 GPU에서 최적의 성능을 발휘하지만, 엔비디아나 AMD의 그래픽 카드에서도 동작한다. 마찬가지로 기술이 발전하면서 XeSS 2에서는 지연 시간 감소와 프레임 생성 기능 등이 추가됐다.

마지막으로 그래픽카드 제조사는 아니지만 소니인터랙티브 엔터테인먼트는 플레이스테이션 5프로를 통해 PSSR(PlayStation Spectral Super Resolution)이라는 기술을 선보였다. PSSR도 AI와 머신러닝을 활용한 이미지 업스케일링 기술이다.

PSSR은 저해상도 이미지를 고해상도로 변환하여 화질을 향상한다는 업스케일링 기술 본연의 모습을 보여준다. PSSR은 PS5 Pro의 하드웨어에 최적화되어 설계되었으며, 여타 업스케일링 기술들과 견줘도 부족하지 않은 모습을 보여주는 것으로 알려져 있다.