Nvidia heeft een presentatie gegeven op Gamescom waarbij nieuwe software en diensten door het bedrijf werden aangekondigd. Allereerst geeft Nvidia aan dat GeForce NOW Ultimate, wat gebruik maakt van RTX 4080's, volledig uitgerold is in Europa en Noord-Amerika. Daarbij komt dat het vanaf 24 augustus mogelijk zal worden om selecte XBOX PC Game Pass-games via GeForce NOW te spelen. Ook werden enkele toekomstige releases genoemd die op release zullen worden toegevoegd aan de 1600 games die nu speelbaar zijn via GeForce NOW. Deze zijn onder andere Cyberpunk 2077: Phantom Liberty, Payday 3, en Alan Wake 2.
Hierna deed Nvidia een update voor Nvidia ACE uit de doeken. Deze eerder getoonde technologie krijgt nu een eerste grote update. De nieuwe functie, genaamd NeMo SteerLM, maakt het mogelijk om niet alleen te praten met npc's in games, maar dat deze ook qua persoonlijkheid aan te passen zijn. Dit draagt bij aan hoe de AI antwoord geeft aan de speler, waardoor de atmosfeer beter zou moeten zijn en de interacties realistischer moeten aanvoelen.
Nvidia ging vervolgens over op het aankondigen van nieuwe projecten die gebruik maken van RTX-functies, zoals DLSS en Ray Tracing. Ten eerste ondersteund Nvidia een modding-team voor het remasteren van Half-Life 2. Dit project zou gebruik maken van Full Ray Tracing, DLSS 3.x, RTX IO en gemoderniseerde omgevingen en objecten. Ook wordt DLSS toegevoegd aan Call of Duty: Modern Warfare 3, Payday 3, Cyberpunk 2077: Phantom Liberty, Alan Wake 2, en Fortnite. Deze krijgen, behalve Fortnite, ook ondersteuning voor Nvidia Reflex. Alan Wake 2 en de Cyberpunk 2077-dlc zullen ook volledige raytracing ondersteunen.
Na kort aan te stippen hoe DLSS de afgelopen jaren verbeterd is, werd ook informatie gegeven over de volgende DLSS update: DLSS 3.5. Deze update zou gebruik maken van machine learning om de 'raytracing lightning pijplijn' te verbeteren. Op dit moment is de pijplijn als volgt: De gewone rasterisatie berekeningen worden gedaan. Aan de hand daarvan wordt van een klein deel van de lichtstralen het pad bepaald. Door deze vervolgens door een denoiser te sturen wordt er door interpolatie tussen de lichtstralen en aan de hand van eerdere en aankomende frames een beeld gemaakt met een lage resolutie. Dit beeld wordt vervolgens opgeschaald naar de volledige gebruikte resolutie in de game.
Het probleem met deze aanpak is dat voor verschillende effecten en verschillende situaties de denoiser flink moet worden aangepast. Als het bijvoorbeeld gaat over de koplampen van een auto dan is het belangrijk dat de denoiser niet teveel informatie gebruikt van afgelopen en toekomstige frames, want dan wordt het lichtschijnsel van de koplampen ver uitgespreid als de auto in beweging is. Ook is er een probleem met fijnere structuren die verdwijnen in reflecties, omdat deze data verloren gaat door de gelimiteerde hoeveelheid lichtstralen die gevolgd kunnen worden en de willekeurige ruimtelijke interpolatie tussen deze lichtpunten in het uiteindelijke beeld. Fouten door deze limitaties worden vervolgens ook nog versterkt door het opschalen naar het uiteindelijke resultaat.
DLSS 3.5 heeft de mogelijkheid om deze denoising algoritmes te laten regelen door wat Nvidia noemt: AI-powered Ray Reconstruction. Deze AI laag zou dynamisch het denoising algoritme kunnen aanpassen aan de hand van bewegingsvectoren, waardoor er meer informatie gehaald kan worden uit eerdere en latere frames, zonder dat dit voor ghosting of uitsmeren van lichtschijnsels zou zorgen. In combinatie met herkennen van bepaalde patronen in schaduwen en reflecties zou dat tot betere resultaten moeten kunnen leiden dan zelfs sterk geoptimaliseerde denoisers in sommige situaties. Vooral tijdens het ontwikkelingsproces van een game zouden ontwikkelaars hier veel baat bij kunnen hebben, omdat het tijdrovende proces van het maken en aanpassen van denoisers voor verschillende situaties grotendeels weggehaald zou kunnen worden. Ook zou in sommige situaties Ray Reconstruction kunnen leiden tot een prestatieverbetering van 5 tot 10% door een vermindering van de hoeveelheid denoiser-algoritmes die tegelijk moeten draaien op de gpu.
Niet alleen in games zou de AI-denoiser handig zijn, maar ook in projecten in bijvoorbeeld blender waar het renderen van een omgeving erg lang kan duren. Zo zou het mogelijk zijn om met DLSS 3.5 veel sneller een betere preview te geven van de uiteindelijke weergave. Overigens zal deze functie ook op oudere Nvidia-gpu's met raytracing-onderstersteuning beschikbaar komen. Frame generation blijft wel exclusief aan de RTX4000-serie.
Bron: Nvidia
