Menigeen zal zich nog wel kunnen herinneren dat er periodes waren in 2020 en 2021, waar het moeilijk was om videokaarten te kopen, zeker voor een normale prijs. Prijzen zijn nu zeker niet goed te noemen, maar ze zijn wel enigszins genormaliseerd. Er waren toen verschillende factoren aan te wijzen, maar het massaal opkopen van gpu’s voor het delven van cryptomunten was er zeker onderdeel van. Er lijkt nu weer een nieuwe gekte ontstaan die een soortgelijk effect zou kunnen hebben: kunstmatige intelligentie. Er wordt gerapporteerd door sommige bedrijven die zich met ai bezighouden dat het moeilijker wordt om gpu’s te verkrijgen.
Nvidia H100 ai-accelerator
Nvidia is een grote speler in de markt voor de productie van gpu’s voor kunstmatige intelligentie. Het bedrijf zegt nu nog grotendeels aan de vraag te kunnen voldoen maar dat de toeleveringsketen complexer is dan velen aannemen. Daardoor kan het in de nabije toekomst weleens moeilijker worden om in het aanbod te kunnen blijven voorzien. Microsoft en OpenAI, twee grote klanten van Nvidia op dit gebied, maar ook andere bedrijven zeggen het in ieder nu al nodig te vinden om maatregelen te nemen. Microsoft heeft bijvoorbeeld al limieten voor snelheid en hoeveelheid gebruik voor werknemers ingesteld; het zogenaamde rate-limiting. Elon Musk, die zich ook met ai zou bezighouden, grapte dat datacenter-gpu’s nu al moeilijker te krijgen zijn dan sommige verdovende middelen. De directeur van Quora zegt dat de voortgang van ai aardig gehinderd wordt door de tekorten en dat het echte potentieel van de techologie daardoor nog niet goed te laten zien is.
Nvidia zelf zegt dat de problemen zich op dit moment vooral in de packaging-fase voordoen: het plaatsen van de gpu op het substraat en de aansluitingen naar buiten regelen gebeurt voor Nvidia op dit moment bij TSMC met de 3d-stapeltechniek genaamd chip-on-wafer-on-substrate (CoWoS). Nvidia durft echter wel te stellen dat het aanbod weer sterk zal stijgen in de tweede helft van 2023. Het is wel al duidelijk geworden dat het bedrijf op dit moment productiecapaciteit voor consumenten-gpu’s verplaatst heeft naar het vervaardigen van gpu’s voor de industrie. Veel RTX 4090-gpu’s gaan nu bijvoorbeeld richting de H100-kaarten. AMD probeert hier uiteraard ook op in te spelen door zijn kaarten als zeer geschikt voor ai-werk aan te bieden. Langzaam maar zeker lijkt dat zijn vruchten af te werpen. George Hotz, de directeur van Comma is in ieder geval al overstag en liet dat weten op X (Twitter). Het voornaamste voordeel voor AMD lijkt voorlopig de completere programmeeromgeving, waar meer met grafische programmablokken, de zogenaamde ai-blocs, gewerkt kan worden.
George Hotz xia X/Twitter
Bedrijven die voorheen hun grafische kaarten voor mining inzetten proberen ook de infrstructuur om te zetten zodat ze ai-workloads beter kunnen verwerken. Echter zal dat toch minder makkelijk geld verdienen zijn, gezien ze nu met concurrentie van echt grote bedrijven te maken zullen hebben, zoals bijvoorbeeld dus van Microsoft en OpenAI.
AMD MI 210 ai-accelerator
Bron: Techspot
