AI in realtime
De on-board AI-accelerator neemt aan de rand van de chip net zo veel ruimte in als de geheugencontroller, maar speelt wel een grote rol in het geheel. Elke AIU beschikt over zes teraflops aan rekenkracht om verschillende neural networks te draaien. Daarmee moet elke bewerking in realtime door het AI-model kunnen worden gehaald, zonder dat dit merkbare vertraging oplevert. Uit beveiligingsoogpunt is gekozen voor een gevirtualiseerde geheugenconfiguratie.
Nieuwe complexe instructieset
Nnpa of neural network processing system assist is een nieuwe cisc-instructieset om direct berekeningen uit te kunnen voeren op de data in de cache en het geheugen, wat veel bandbreedte en tijd bespaart. Er zijn twee onafhankelijke compute arrays: een voor matrixberekeningen en een voor activatiefuncties. Matrices zijn de basis van vrijwel alle AI-workloads, en activatiefuncties bepalen in neurale netwerken of een neuron wel of niet getriggerd wordt.
De matrix-array bestaat uit een mesh van 128 tiles voor fp16 simd-berekeningen. De activatie-array is opgebouwd uit 32 fp16/fp32-simd's. Simd staat voor single instruction, multiple data. Dat betekent dat met één instructie data uit meerdere bronnen tegelijk kan worden verwerkt. Er is ondersteuning voor populaire tools zoals PyTorch en TensorFlow. Ook kunnen modellen in het open neural network exchange-format ONNX worden gebruikt.
Voor betalingsverkeer zijn meer dan 100.000 transacties per seconde mogelijk met sub-milliseconde-reactietijden. Dit is tientallen keren meer dan wat met vergelijkbare x86-servers haalbaar is, en dit maakt het mogelijk alle financiële transacties op het moment zelf te controleren, in plaats van steekproefsgewijs achteraf.
