Nvidia wyjaśnia, że DLSS 5 wnioskuje na podstawie zrzutów ekranu 2D oraz wektorów ruchu i nie wykorzystuje istniejącej geometrii, tekstur ani oświetlenia

Natychmiast po publicznej reakcji wywołanej ogłoszeniem DLSS 5, Nvidia dostarczyła dodatkowe informacje dotyczące podstawowej technologii, na której opiera się nadchodząca technologia, ale większość stwierdzeń była nadal niejasna i wymagała interpretacji. Youtuber Daniel Owen skontaktował się bezpośrednio z Jacobem Freemanem z Nvidii, aby wyjaśnić wszystkie starannie spreparowane sformułowania z oficjalnych oświadczeń i faktycznie wyjaśnić, co faktycznie robi DLSS 5. Nvidia zdecydowała się odpowiedzieć za pośrednictwem poczty elektronicznej, zamiast zorganizować rozmowę na żywo.

1. Owen zaczyna od palącego pytania. Co tak naprawdę robi DLSS 5 za kulisami? Panowie z Digital Foundry zasugerowali to już w swojej rozszerzonej analizie, więc Owen poszedł dalej i zapytał, czy DLSS 5 po prostu pobiera klatkę 2D (zrzut ekranu tego, co jest wyświetlane na ekranie) w połączeniu z wektorami ruchu, a następnie wyprowadza wynik.
   
   Przedstawiciel Nvidii potwierdził to wprost. Tak więc DLSS 5 przekształca dane wyjściowe ekranu w dane wejściowe, które następnie przechodzą przez generatywny model sztucznej inteligencji, aby je "ulepszyć". Ostateczny wynik jest renderowany na szczycie silnik gry
   
2. Kolejne pytanie ma na celu wyjaśnienie, czy DLSS 5 może w jakikolwiek sposób analizować geometrię 3D i głębię, czy też po prostu reinterpretuje obraz 2D najlepiej jak potrafi, aby uczynić go bardziej realistycznym w oparciu o wnioskowanie.
   
   "DLSS 5 jest wyszkolony od końca do końca, aby zrozumieć złożoną semantykę sceny, taką jak postacie, włosy, tkaniny i półprzezroczysta skóra wraz z warunkami oświetlenia otoczenia, takimi jak oświetlenie z przodu, oświetlenie z tyłu lub zachmurzenie - wszystko to poprzez analizę pojedynczej klatki"
   
   Tutaj Nvidia wydaje się całkowicie unikać części dotyczącej geometrii 3D, ale jej odpowiedź sugeruje, że DLSS 5 nie ma nic wspólnego z geometrią 3D
   
3. Jeśli podstawowa geometria i tekstury pozostają niezmienione, jak twierdzi Nvidia w swoim oficjalnym starterze, to dlaczego niektóre przykłady wykazują zmodyfikowane tekstury, choć subtelnie, ale wciąż pozornie różne w porównaniu do oryginalnego renderowania? Owen podaje przykład męskiej postaci z gry Starfield, która wydaje się mieć więcej włosów na lewej skroni po zastosowaniu DLSS 5.
   
   Nvidia całkowicie uniknęła tego pytania i stwierdziła, że podstawowa geometria jest rzeczywiście niezmieniona, a to, co zaprezentowali, jest jedynie bardzo wczesnym podglądem technologii. Następnie youtuber zaryzykował stwierdzenie, że geometria może nie zostać zmieniona, ale ostateczny wynik, który pojawia się na ekranie, może być tym, co DLSS 5 uzna za poprawne poprzez wnioskowanie. Ponadto, jeśli jest to wczesna wersja, Nvidia powinna wziąć pod uwagę wszystkie opinie i poprawić to, co technologia może ostatecznie zrobić
   
4. W oficjalnym starterze Nvidia twierdzi, że DLSS 5 poprawia właściwości PBR na materiałach. Owen chce wyjaśnić, czy DLSS 5 faktycznie bierze specyfikacje PBR twórcy gry zawarte w silniku gry (właściwości materiału, chropowatość, mapy normalne itp.) jako dane wejściowe, czy też DLSS 5 tylko wnioskuje o wszystkich właściwościach PBR.
   
   Nvidia odpowiada, że DLSS 5 pobiera jako dane wejściowe tylko renderowaną klatkę i wektory ruchu, podczas gdy materiały są wywnioskowane z renderowanej klatki. Owen twierdzi, że to wyjaśnienie kwalifikuje oficjalne oświadczenia dotyczące ulepszania właściwości PBR jako wprowadzające w błąd
   
5. To pytanie jest dość obciążające, ponieważ dotyczy zachowania intencji artystycznych. Owen zasadniczo pyta, czy twórcy gier mogą kontrolować cokolwiek poza gradacją kolorów inną niż zmniejszanie intensywności funkcji DLSS 5 lub całkowite maskowanie jej na określonych obiektach / postaciach. Jako przykład podaje scenę otwierającą grę RE: Requiemw której Grace pierwotnie nie nosiła makijażu, ale render DLSS 5 pokazuje ją w makijażu. Innymi słowy, czy deweloperzy mogą w jakiś sposób poinstruować DLSS 5, aby renderował Grace bez makijażu?
   
   Nvidia udziela długiej odpowiedzi, która pochodzi bezpośrednio z primera i nie zawiera odpowiedzi dotyczącej możliwości poinstruowania DLSS 5, aby renderował coś w określony sposób. W chwili obecnej wydaje się, że wczesna wersja nie jest w stanie zachować artystycznych intencji, ale można być optymistą i powiedzieć, że może się to zmienić, jeśli otrzymamy wystarczającą ilość opinii
   
6. Czy DLSS 5 naprawdę ogranicza się do przestrzeni ekranu, więc nie jest świadomy źródeł światła poza ekranem, odbić lub okluzji otoczenia i cieni?
   
   Nvidia potwierdza, że DLSS 5 rzeczywiście ogranicza się do przestrzeni ekranu, co oznacza, że nie rozumie nawet ray tracingu. Dlaczego więc gracze mieliby w ogóle aktywować ray tracing w grach, skoro DLSS 5 nie bierze pod uwagę tych złożonych obliczeń, które wymagają tak dużej mocy obliczeniowej? Czy mamy rozumieć, że DLSS 5 może całkowicie zastąpić ray tracing, a jeśli tak, to czy robi to w bardziej wydajny sposób, który wymaga mniej mocy obliczeniowej? Użycie dwóch kart RTX 5090 wyraźnie nie pomaga w wykazaniu wydajności
   
7. Ostatnie pytanie nie jest bezpośrednio związane z DLSS 5, ale Owen pyta, czy wprowadzenie DirectML do DirectX dla sprzętowo niezależnej akceleracji zadań ML w grach może oznaczać, że zastrzeżone technologie, takie jak DLSS 5, mogą w pewnym momencie stać się open source do pracy na dowolnej marce sprzętu.
   
   Nvidia twierdzi, że nie ma obecnie nic do ogłoszenia w tej kwestii, więc nie zaprzecza całkowicie takiej możliwości, pozostawiając jednak nieco otwarte drzwi dla promyka nadziei.