Als je de ontwikkelingen in de kunstmatige intelligentie al een tijdje volgt, zul je merken dat dit hele andere eisen stelt aan computers dan normale taken. Kunstmatige intelligentie-taken worden voornamelijk uitgevoerd op gpu's omdat deze beschikken over veel kernen die zeer geschikt zijn voor het uitvoeren van talloze berekeningen. Voor het draaien van grotere AI-modellen zijn vaak meerdere aparte gpu's met veel geheugen nodig die ook nog onderling met elkaar moeten communiceren. Voorbeelden van technologieën die dit ondersteunen zijn Infiniband, SmartNIC, DPU (data processing unit) en IPU (infrastructure processing unit). Deze technologieën proberen in feite de cpu te ontlasten door de communicatie tussen de gpu's via deze systemen te laten verlopen.
Een Nvidia SuperNIC
SuperNIC is de nieuwste toevoeging aan deze reeks technologieën. Volgens Nvidia is het een nieuwe klasse netwerkaccelerator die is ontworpen om hyperscale AI-workloads te versnellen. Het faciliteert een zeer snelle verbinding tussen gpu's, met snelheden tot 400 gb/s door gebruik te maken van remote direct memory access (RDMA) over converged Ethernet (RoCE)-technologie. Deze SuperNIC is ook een dpu en is gebaseerd op de Bluefield-3 dpu.
Je zou bijna vermoeden dat het een Super Bluefield-3 is, maar dat is niet het geval. SuperNIC specialiseert zich in het opbouwen van een 400 GB/s verbinding per gpu, zodat een systeem met 8 gpu's ook acht SuperNICs aan boord heeft. Deze units zijn kleiner en gebruiken minder energie dan normale dpu's. Om het maximale uit deze kaarten te halen, heb je ook de NVIDIA Spectrum-4 switch nodig, die de routing aanpast en zorgt voor packetoptimalisatie om ervoor te zorgen dat er geen vertraging is op het SuperNIC-netwerk. Aangezien GPU's en acceleratorkaarten steeds sneller worden, moet er ook worden gezorgd voor snelle communicatie tussen systemen. Daarom heeft Nvidia de SuperNICs ontwikkeld.
Bronnen: TheRegister, Nvidia
