Tesla heeft tijdens zijn AI Day-evenement een hoop onthuld over zijn plannen voor kunstmatige intelligentie. Onderdeel hiervan was Project Dojo, dat inderdaad slaat op een in-house ontworpen machine learning-chip genaamd de D1. Hij heeft een bf16-rekenkracht van maar liefst 362 teraflops.
Het is een enorme chip van 645 vierkante millimeter met 50 miljard transistors op basis van een 7nm-node. Tesla haalt het onderste uit de kan met een verbruik van 400 watt, hij wordt dan ook geplaatst op een mezzanine-module voor high-end servers.
De kleinste 'entity of scale' van de D1 is de 'training node', die 1,024 teraflops aan bFloat16-rekenkracht biedt, in combinatie met een bandbreedte tussen de nodes van 512 GB/s. Om precies te zijn is de compute node een in-order cpu met vier threads per core.
254 van deze modules vormen bij elkaar een compute array, die 364 teraflops kan verwerken. In fp32-workloads is de maximaal haalbare rekenkracht 22,6 teraflops. Ze maken gebruik van een interconnect met een bandbreedte van 10 TB/s. Ook de i/o-mogelijkheden heeft een flinke bandbreedte van 4 TB/s, dankzij 576 lanes met elk een bandbreedte van 112 Gbit/s. De compute array vormt samen met de overige onderdelen de D1-chip. Tesla noemt het een chip met de 'prestaties van een gpu, met de flexibiliteit van een cpu en met de i/o-bandbreedte van een netwerkchip'.
Tesla heeft 35 van deze chips op een 'training tile' gezet, goed voor 9 petaflops, 36 TB/s aan i/o-bandbreedte en een verbruik van 15 kilowatt. Hij lijkt ongeveer zo groot te zijn als een pizzadoos. Omdat de zijkanten volledig zijn bedekt met i/o-aansluitingen was er geen plek meer voor de stroomvoorziening, daarom zit deze bovenop de chips. De contactpunten voor de koeling zit hier tussenin.
In een experimentele testsetup draaide de training tile op 2 GHz. In een serverrack passen in totaal twaalf van deze modules, voor een rekenkracht van in totaal 100 petaflops. Tesla's laatste project met Dojo is de Training Mat. Door de wanden van de serverracks te breken konden tien racks gecombineerd worden. Met 120 trainingtiles kan een rekenkracht van 1,1 exaflop gerealiseerd worden.
Bron: Tesla (YouTube)
