Bij LeaderGPU, een Nederlands bedrijf waar je infrastructuur kunt huren om bijvoorbeeld je AI-werk te laten draaien op Nvidia GeForce RTX 6000 Ada gpu's, kun je vanaf eind november 2023 terecht. De configuratie omvat een server met acht RTX 6000 Ada gpu's, elk met 48 GB gddr6 ram en een ram bandbreedte van 960 GB/s. Deze units hebben tot 18,176 CUDA cores per stuk.
CUDA cores zijn gespecialiseerd in het uitvoeren van meerdere berekeningen tegelijk, en door veel van deze kernen te combineren, kun je zware generatieve AI-taken uitvoeren. Voor €0,25 per minuut kun je deze configuratie huren, inclusief twee Intel Xeon Gold 6248R cpu's, 384 GB RAM en 2 TB NVMe-opslag. Het is mogelijk zowel Ubuntu als Windows Server op deze servers te draaien. Het zijn bare-metal servers, je moet dus zelf ook het besturingssysteem en software regelen.
Vanaf 30 november kun je deze configuratie huren voor €5.692,22 per maand, €1.420,55 per week of €284,11 per dag. Per uur komt dit neer op €11,84. Als je dan een miljoen CUDA kernen wil huren, komt dit neer op €105 per uur. Op het moment hebben ze actie tot 30-11.2023, waar je ze vanaf €9,14 kan huren per uur.
De hardware die nodig is voor het draaien van AI-workloads is verre van goedkoop, en het idee om deze rekenkracht te kunnen huren, vergelijkbaar met de diensten die momenteel worden aangeboden door partijen als Amazon Web Services en Azure, wint snel aan populariteit. LeaderGPU is niet de enige partij die momenteel een GPU-cloud verhuurt; ook een Japans bedrijf, Third Wave, gaat dit aanbieden tegen relatief gunstige prijzen.
Update 11-11, 16:14:
Even ter verduidelijking, die 105 euro per uur is voor als je meerdere machines zou in huren om aan die miljoen CUDA-kernen te komen. Zie ook screenshot hieronder, of bezoek de website van het bedrijf.
Bron: Techradar
