In een recente driver-update van Nvidia is er stilletjes een nieuwe functie toegevoegd. Onder 'Manage 3D settings' is er een nieuwe functie verschenen genaamd 'CUDA - Sysmem Fallback Policy'. Deze nieuwe functie zou voornamelijk dienen om applicaties die veel geheugen vereisen het hoofd te bieden. Hiermee zou voornamelijk Stable Diffusion bedoeld worden.
Stable Diffusion is een AI-programma wat veel geheugen kan vragen, tot zo'n 6GB. Op dit moment zijn de meest gangbare gpu's uitgerust met 6 tot 8 GB aan geheugen, wat al snel vol kan raken als gebruikers tegelijkertijd andere programma's gebruiken die geheugen van de videokaart vragen. Om dit probleem te voorkomen moet de nieuwe functie het mogelijk maken voor de gpu om efficiënt naar het gedeelde systeemgeheugen te schakelen. In principe zou het ook mogelijk zijn om dit voor games e.d. in te schakelen, maar dit leidt hoogstwaarschijnlijk niet tot betere prestaties, door de veel lagere bandbreedte van het gewone ram-geheugen en de significant hogere latency.
Het belangrijkste doel van deze functie is om mogelijke crashes te voorkomen wanneer de gpu over zijn geheugen-capaciteit zou moeten gaan. In de driver is het ook mogelijk om de functie juist uit te zetten, wat wenselijk kan zijn als de gebruikte gpu over meer dan genoeg geheugen beschikt. Het uitstaan van de functie zou over het algemeen stabielere prestaties moeten opleveren, aangezien er niet opeens trager geheugen gebruikt kan worden.
Bron: VideoCardz
