Arm, Intel en Nvidia hebben een voorstel voor een nieuwe specificatie dat ingediend gaat worden bij de IEEE. De 8 bits-floating point-standaard of FP8 moet de ontwikkeling van kunstmatige intelligentie versnellen, beide bij het trainen en uitvoeren van de modellen. Dit formaat bepaalt de nauwkeurigheid van de zogenaamde weights. Dit zijn de factoren die voortkomen uit de trainingdata die effect hebben op de uitkomst.
Gangbare formaten zijn single precision of FP32 en half precision of FP16, wat staat voor floating point met respectievelijk 32 en 16 bits. Met minder bits is de nauwkeurigheid lager, maar de benodigde rekenkracht ook flink lager. In de industrie wordt nu langzaamaan 8 bits als een goede combinatie van snelheid en nauwkeurigheid gezien.
De drie techreuzen publiceerden een white paper genaamd "FP8 Formats for Deep Learning" en maken het formaat open en zonder licentie te gebruiken. De hoop is dat dit formaat de industriestandaard wordt. De eerste producten met ondersteuning zijn er al, in de vorm van Nvidia's Hopper-architectuur in de GH100-accelerator en Intel's Gaudi2-chipset.
Ook concurrenten zoals AMD, IBM en Cerebras werken aan een vorm van 8 bits-floating point-formaten. Graphcore bracht eveneens een paper uit getiteld "8-bit Numerical Formats for Deep Neural Networks", waarin de voordelen wat betreft efficiëntie beschreven worden. In een blogpost pleit de chief technical officer van het bedrijf voor één open, industrie-brede standaard.
Bron: TechCrunch
