Deep Learning Super Sampling(DLSS)는 Nvidia가 실시간 그래픽 렌더링, 주로 비디오 게임을 위해 개발한 독점 이미지 재구성 및 업스케일링 기술입니다. 이 기술은 Deep learning 및 Neural network 모델을 활용하여 저해상도 입력에서 고해상도 이미지를 재구성하며, 네이티브 렌더링과 비교 가능한 시각적 충실도를 유지하면서 프레임 속도를 향상시키는 것을 목표로 합니다. 이 기술은 Nvidia의 GeForce RTX 그래픽 카드에 통합되어 있으며, RTX 제품군의 핵심 기능으로, 다른 하드웨어 제조업체의 유사한 업스케일링 솔루션과 경쟁합니다.
DLSS는 게임을 낮은 내부 해상도로 렌더링한 다음, 훈련된 신경망을 사용하여 이미지를 디스플레이의 네이티브 해상도로 업스케일링하는 방식으로 작동합니다. 네트워크는 다운샘플링 중에 손실되는 텍스처와 가장자리와 같은 누락된 세부 정보를 추론하는 방법을 학습하기 위해 고품질의 고해상도 프레임으로 훈련됩니다. 이 프로세스는 GPU의 계산 부하를 줄여 더 높은 프레임 속도를 허용하거나, 그렇지 않으면 너무 demanding할 수 있는 레이 트레이싱 효과를 가능하게 합니다. 이 기술은 여러 버전을 통해 발전해 왔으며, 각 반복은 이미지 품질, 시간적 안정성 및 성능을 개선합니다.
History and Development
Nvidia는 2018년 Turing 아키텍처와 GeForce RTX 20 시리즈와 함께 DLSS를 처음 발표했습니다. 초기 버전인 DLSS 1.0은 게임별 훈련이 필요하고 고정 신경망을 사용하여 게임별 최적화의 필요성으로 인해 채택이 제한되었습니다. 2020년에 Nvidia는 Ampere 아키텍처와 함께 DLSS 2.0을 도입했으며, 이는 이전 프레임의 시간적 피드백을 사용하는 범용 네트워크로 게임별 접근 방식을 대체하여 품질과 통합 용이성을 크게 개선했습니다. 이 버전은 많은 타이틀에서 널리 채택되었습니다.
2023년에 Nvidia는 DLSS 3을 출시하여 프레임 생성 기술을 추가했습니다. 이 기능은 Artificial intelligence 모델을 사용하여 렌더링된 프레임 사이에 완전히 새로운 프레임을 생성하여 프레임 속도를 효과적으로 두 배 또는 세 배로 늘립니다. DLSS 3은 또한 프레임 생성으로 인해 발생할 수 있는 입력 지연을 완화하기 위해 지연 시간 감소 기술인 Nvidia Reflex를 도입했습니다. 2025년에 발표된 최신 버전인 DLSS 4는 이전 합성곱 신경망을 대체하는 transformer 기반 아키텍처로 업스케일링 모델을 더욱 개선하고, 더 높은 성능을 위한 다중 프레임 생성을 도입했습니다.
Technical Approach
DLSS는 고해상도 이미지와 해당 저해상도 대응물의 대규모 데이터 세트로 훈련된 Deep learning 모델에 의존합니다. 훈련 프로세스는 다양한 해상도로 장면을 렌더링하고 고해상도 버전을 ground truth로 사용하는 것을 포함합니다. 네트워크는 텍스처 패턴과 미세한 가장자리와 같은 누락된 고주파 세부 정보를 예측하는 동시에 모션 벡터의 시간적 정보를 처리하여 고스팅과 아티팩트를 줄이는 방법을 학습합니다.
DLSS의 핵심은 합성곱 신경망이지만, DLSS 4는 이미지의 장거리 의존성을 포착하는 데 더 적합한 Transformer (architecture) 기반 아키텍처로 전환했습니다. 모델은 행렬 연산을 위한 특수 하드웨어인 Nvidia GPU의 전용 텐서 코어에서 실행되어 실시간 추론을 가능하게 합니다. 업스케일링 프로세스는 시간적 안티앨리어싱과 결합되며, 네트워크는 이전 프레임의 정보를 사용하여 이미지를 안정화하고 시간이 지남에 따라 품질을 개선합니다.
DLSS 3에서 도입된 프레임 생성은 별도의 신경망을 사용하여 두 개의 연속 렌더링 프레임 사이를 보간합니다. 이 네트워크는 광학 흐름을 추정하고 그 사이에 삽입되는 새 프레임을 생성하여 인지된 프레임 속도를 증가시킵니다. 생성된 프레임은 GPU에 의해 렌더링되지 않고 합성되므로, 빠르게 움직이는 장면에서 주의 깊게 처리하지 않으면 아티팩트가 발생할 수 있습니다. Nvidia는 RTX 40 및 50 시리즈 GPU의 전용 광학 흐름 가속기와 모션 벡터를 사용하여 이를 완화합니다.
Hardware and Software Integration
DLSS는 RTX 20 시리즈부터 시작하여 Nvidia의 GeForce RTX GPU에서만 독점적으로 사용할 수 있습니다. 이 기술은 모든 RTX 카드에 있는 텐서 코어가 필요하며, Nvidia 드라이버와 DLSS SDK를 통해 지원됩니다. 게임 개발자는 SDK를 사용하여 엔진에 DLSS를 통합하며, SDK는 업스케일링 및 프레임 생성 기능을 제공합니다. Nvidia는 또한 DLSS를 레이 트레이싱 및 기타 AI 기반 기능을 포함하는 더 넓은 RTX 기술 제품군의 일부로 제공합니다.
소프트웨어 스택에는 Unreal Engine 및 Unity와 같은 인기 게임 엔진용 플러그인이 포함되어 통합이 간단합니다. DLSS는 또한 3D 렌더링 및 비디오 편집과 같은 전문 응용 프로그램에서도 사용되며, 미리보기 및 최종 출력을 가속화할 수 있습니다. Nvidia는 드라이버 업데이트를 통해 DLSS 모델을 정기적으로 업데이트하여 게임 패치 없이도 개선을 허용합니다.
Comparison with Alternatives
DLSS는 다른 업스케일링 기술, 특히 AMD의 FidelityFX Super Resolution(FSR) 및 Intel의 Xe Super Sampling(XeSS)과 경쟁합니다. AMD의 FSR은 오래된 GPU와 통합 그래픽을 포함한 더 넓은 범위의 하드웨어에서 작동하는 오픈 소스 솔루션이지만, 전용 AI 하드웨어를 사용하지 않고 공간 및 시간적 알고리즘에 의존합니다. Intel의 XeSS는 DLSS와 유사한 AI 기반 접근 방식을 사용하지만 Arc GPU용으로 설계되었으며, 다른 제조업체의 하드웨어도 지원합니다.
DLSS는 특히 최신 버전에서 이미지 품질과 성능으로 종종 칭찬을 받지만, Nvidia 하드웨어로 제한됩니다. 대조적으로, FSR은 더 접근하기 쉽지만 일반적으로 특히 낮은 해상도에서 더 낮은 품질의 결과를 생성합니다. 이러한 기술 간의 선택은 종종 사용자의 GPU 브랜드와 독점 솔루션 대 오픈 솔루션에 대한 선호도에 따라 달라집니다. 2025년 현재, DLSS는 게임 산업에서 가장 널리 채택된 AI 업스케일링 기술로 남아 있습니다.
Impact and Reception
DLSS는 소비자 하드웨어에서 고충실도 그래픽과 레이 트레이싱을 가능하게 함으로써 게임 산업에 상당한 영향을 미쳤습니다. 업스케일링의 성능 향상이 레이 트레이싱의 계산 비용을 보상하므로 실시간 응용 프로그램에서 레이 트레이싱을 viable하게 만든 것으로 평가받고 있습니다. 이 기술은 또한 프레임 생성 및 신경 렌더링과 같은 다른 AI 기반 그래픽 기술의 개발에 영향을 미쳤습니다.
비평가들은 DLSS가 특히 초기 버전에서 아티팩트를 도입할 수 있고, 프레임 생성이 빠르게 진행되는 게임에서 시각적 불일치를 유발할 수 있다고 지적했습니다. 그러나 이후 업데이트는 이러한 문제를 대부분 해결했으며, DLSS는 이제 많은 AAA 타이틀에서 표준 기능으로 간주됩니다. 이 기술은 또한 가상 현실 및 클라우드 게임에서 채택되어 덜 강력한 하드웨어에서 높은 프레임 속도를 유지하는 데 도움이 됩니다. 2025년 현재, DLSS는 Nvidia GPU의 주요 차별화 요소이자 하이엔드 그래픽 부문에서 시장 지배력의 주요 요인입니다.