Nvidia DLSS, Rahasia untuk Game yang Lebih Halus dan Cepat

DLSS, singkatan dari Deep Learning Super Sampling (Pemupukan Super Skala Pembelajaran Dalam) adalah sebuah teknik pemrosesan video yang menggunakan kecerdasan buatan (AI) untuk memproses frame pada resolusi yang lebih rendah daripada yang ditampilkan dan menghasilkan tampilan yang mirip dengan resolusi asli. 

Tujuannya adalah untuk meningkatkan jumlah frame per detik (frame rate) dalam permainan sambil menghasilkan kualitas gambar yang lebih tinggi. Sebagai contoh, dengan DLSS, frame permainan dapat dibuat dalam resolusi 1080p untuk meningkatkan frame rate, lalu ditingkatkan menjadi resolusi 4K untuk menghasilkan kualitas gambar yang lebih tajam di atas resolusi 1080p.

Ini adalah alternatif bagi teknik pemrosesan lain yang memerlukan perangkat keras tambahan, seperti Teknik Anti Aliasing Temporal (TAA). DLSS memberikan manfaat terbesar pada permainan yang berjalan pada frame rate yang lebih rendah atau resolusi yang lebih tinggi.

Versi paling umum dari DLSS, yaitu DLSS 2.0, menurut Nvidia, dapat meningkatkan frame rate sebanyak 200-300%. Versi asli DLSS, meskipun kurang umum dan kurang efektif, dapat meningkatkan frame rate sekitar "lebih dari 70%," menurut Nvidia. 

DLSS dapat sangat berguna bahkan dengan kartu grafis terbaik, terutama saat bermain game pada resolusi tinggi atau dengan teknologi Ray Tracing aktif, yang keduanya dapat mengurangi frame rate secara signifikan dibandingkan dengan resolusi 1080p.

Menurut pengalaman, sulit untuk membedakan perbedaan antara permainan yang diolah dalam 4K asli dan permainan yang diolah dalam 1080p dan ditingkatkan ke 4K melalui DLSS 2.0, terutama saat bergerak. Namun, manfaat dalam hal kinerja tidak selalu sebesar itu.

DLSS hanya dapat digunakan dengan kartu grafis RTX dari Nvidia. Namun, beberapa waktu yang lalu, AMD juga merilis teknologi serupa mereka yang disebut AMD Fidelity FX Super Resolution (AMD FSR). FSR tidak terbatas pada GPU tertentu dan dapat digunakan dengan hampir semua kartu grafis Nvidia, bahkan Intel. 

Setidaknya 10 studio game telah mengumumkan adopsi teknologi ini dalam permainan dan mesin mereka tahun ini. FSR juga tersedia di PlayStation 5 dan akan hadir di Xbox Series X dan S.

DLSS 2.0 dan 2.1 yang Baru

Pada Maret 2020, Nvidia mengumumkan DLSS 2.0 yang menggunakan jaringan saraf pembelajaran dalam yang diharapkan dua kali lebih cepat dari DLSS 1.0. Jaringan saraf yang lebih cepat ini memungkinkan perusahaan untuk menghilangkan semua pembatasan pada GPU yang didukung, pengaturan, dan resolusi.

DLSS 2.0 diharapkan juga memberikan kualitas gambar yang lebih baik, dengan janji untuk meningkatkan frame rate hingga 2-3 kali lipat dibandingkan dengan versi sebelumnya (dalam Mode Kinerja 4K). 

Bahkan Nvidia mengklaim bahwa dengan menggunakan Mode Kinerja 4K DLSS 2.0, kartu grafis RTX 2060 dapat menjalankan game dengan pengaturan maksimum. Tentu saja, ini bergantung pada game yang mendukung DLSS 2.0 dan memiliki keuntungan dari memiliki kartu grafis RTX.

Selain DLSS 2.0, Nvidia juga mengumumkan DLSS 2.1 yang memperkenalkan sejumlah peningkatan, termasuk dukungan untuk penggunaan VR, pemantauan dengan resolusi tinggi, dan lebih banyak permainan yang mendukung teknologi ini. Ini adalah upaya terus-menerus untuk meningkatkan pengalaman bermain game dengan resolusi tinggi dan kualitas gambar yang lebih baik.

Pada September 2020, Nvidia merilis DLSS 2.1, yang menambahkan beberapa fitur baru termasuk dukungan untuk permainan dengan resolusi sangat tinggi (pemupukan hingga 9 kali), dukungan untuk permainan realitas virtual (VR), dan Mode Ultra Performa untuk dinamik resolusi. Selain itu, seorang perwakilan Nvidia mengungkapkan bahwa DLSS dapat digunakan untuk meningkatkan resolusi jika mesin render mendukungnya, meskipun ukuran output tetap sama.

Mode Selecable DLSS 2.0

Salah satu perubahan paling mencolok antara DLSS asli dan DLSS 2.0 adalah pengenalan mode seleksi kualitas gambar. Mode ini mencakup High Quality (Kualitas Tinggi), Balanced (Seimbang), dan Performance (Performa), dan dengan DLSS 2.1, mode Ultra Performance (Ultra Performa) juga ditambahkan.

Dengan DLSS 2.0, mode Performance memberikan lonjakan terbesar dalam kinerja dengan meningkatkan game dari 1080p hingga 4K. Ini sebanding dengan peningkatan sebesar 4 kali lipat (2 kali lebar dan 2 kali tinggi). Mode Balanced menggunakan peningkatan sebesar 3 kali lipat, dan Mode Quality (Kualitas) menggunakan peningkatan sebesar 2 kali lipat. 

Mode Ultra Performance yang diperkenalkan dengan DLSS 2.1 menggunakan peningkatan sebesar 9 kali lipat dan dirancang terutama untuk bermain game pada resolusi 8K (7680 x 4320) dengan kartu grafis RTX 3090. Meskipun secara teknis dapat digunakan pada resolusi target yang lebih rendah, artefak peningkatan akan lebih terlihat. 

Secara umum, semakin tinggi resolusi asli, semakin baik hasil peningkatannya, sehingga di resolusi 720p hingga 1080p, itu akan tampak baik, tetapi untuk resolusi 1080p atau lebih tinggi, pemrosesan akan memberikan hasil yang lebih baik.

Salah satu perbaikan yang diharapkan dengan DLSS 2.0 adalah peningkatan dalam kualitas gambar di area yang memiliki objek bergerak. Pengolahan yang diperbarui seperti yang terlihat pada gambar di atas terlihat jauh lebih baik daripada gambar yang menggunakan DLSS 1.0. Bahkan ketika DLSS 1.0 dimatikan, perbedaannya sangat nyata.

Selain itu, DLSS 2.0 diharapkan memberikan peningkatan dalam kualitas gambar di area yang memiliki detail halus.

Untuk mendukung DLSS dalam sebuah permainan, pengembang perlu mengimplementasikannya dan kemudian melatih jaringan AI khusus untuk permainan tersebut. Dengan DLSS 2.0, langkah terakhir ini dihilangkan. Meskipun pengembang permainan masih perlu mengimplementasikannya, pekerjaan yang diperlukan jauh lebih sedikit karena ada jaringan AI generik yang digunakan. 

Selain itu, pembaruan yang dilakukan dalam mesin DLSS (melalui pembaruan driver) dapat meningkatkan kualitas game yang sudah ada. Unreal Engine 4 dan Unreal Engine 5 mendukung DLSS 2.0, dan Unity akan menambahkan dukungan dalam pembaruan 2021.2 tahun ini.

Bagaimana DLSS Bekerja?

Baik DLSS 1.0 maupun DLSS 2.0 bekerja bersama-sama dengan superkomputer NGX Nvidia untuk melatih jaringan kecerdasan buatan yang relevan, dan juga menggunakan Tensor Cores pada kartu RTX untuk pemrosesan berbasis kecerdasan buatan.

Untuk mendukung DLSS 1.0 dalam sebuah permainan, Nvidia pertama-tama harus melatih jaringan kecerdasan buatan yang disebut convolutional autoencoder, yang merupakan jenis jaringan kecerdasan buatan yang digunakan dalam DLSS, dengan menggunakan NGX. Proses pelatihan dimulai dengan menunjukkan ribuan tangkapan layar dari permainan yang masing-masing memiliki fitur Super Sample Anti-Aliasing 64x. 

Nvidia juga memasukkan gambar dari jaringan kecerdasan buatan yang tidak menggunakan Anti-Aliasing. Kemudian, jaringan membandingkan tangkapan layar ini, menggunakan gambar sumber yang lebih rendah kualitasnya, untuk belajar "bagaimana mendekati kualitas Super Sample Anti-Aliasing 64x" tanpa mengorbankan terlalu banyak frame per second.

Jaringan kecerdasan buatan melakukan iterasi dan mengubah algoritmanya dengan cara ini. Tujuannya adalah agar akhirnya, melalui inferensi, ia bisa mendekati kualitas 64x dan mencocokkannya dengan gambar asli. 

Nvidia, seperti yang diumumkan pada tahun 2018, berhasil menghindari masalah yang terkait dengan TAA (Temporal Anti-Aliasing), seperti kabur secara umum di seluruh layar, kabur berbasis pergerakan, bayangan, dan kebuasan yang terkait dengan TAA saat mendekati kualitas [64x Super Sampled] Anti-Aliasing.

Selain itu, DLSS juga menggunakan apa yang disebut oleh Nvidia sebagai "teknik umpan balik temporal" untuk memberikan detail tajam dan "stabilitas frame-by-frame yang ditingkatkan" pada gambar permainan. 

Umpan balik temporal melibatkan menerapkan vektor pergerakan yang menjelaskan pergerakan objek dalam gambar antar frame ke citra keluaran yang lebih alami/dengan resolusi yang lebih tinggi. Dengan begitu, gambar berikutnya dapat diprediksi lebih awal.

Untuk DLSS 2.0, proses pelatihannya melibatkan penciptaan gambar referensi "ultra berkualitas tinggi" dengan resolusi 16K (15360 x 8640) yang dibuat secara offline dan dibandingkan dengan output gambar dari jaringan kecerdasan buatan. Perbedaan antara kedua gambar ini dikirimkan ke jaringan kecerdasan buatan untuk pembelajaran dan perbaikan. 

Superkomputer Nvidia, dengan potensi untuk menjalankan proses ini berulang-ulang pada potensial puluhan ribu hingga jutaan gambar referensi selama waktu tertentu, menyediakan jaringan kecerdasan buatan yang terlatih dengan baik untuk menghasilkan gambar dengan kualitas dan resolusi yang memuaskan.

Baik DLSS maupun DLSS 2.0, setelah pelatihan jaringan kecerdasan buatan untuk permainan yang baru selesai, superkomputer NGX mengirimkan model kecerdasan buatan tersebut ke kartu grafis Nvidia RTX melalui driver GeForce Game Ready. Dari sini, GPU Anda dapat menggunakan kekuatan kecerdasan buatan Tensor Cores-nya untuk menjalankan DLSS 2.0 secara real-time, baik dalam permainan yang didukung maupun DLSS biasa.

DLSS 2.0 menampilkan pendekatan yang lebih umum daripada pelatihan DLSS biasa oleh satu permainan, yang berarti bahwa kualitas algoritma DLSS 2.0 dapat terus berkembang seiring berjalannya waktu tanpa memerlukan pembaruan khusus permainan. Pembaruan ini dapat disediakan melalui driver dan dapat memengaruhi semua permainan yang menggunakan DLSS 2.0.