Chipfabrikant Cerebras kondigde in augustus vorig jaar de Wafer Scale Engine 2 aan, de opvolger van ’s werelds grootste processor. Waar het oppervlak van de chip gelijk blijft (46.225 vierkante millimeter of ongeveer 21,5 x 21,5 cm), is het productieproces veranderd van 16 naar 7 nanometer (van TSMC). Hierdoor kunnen er 2,6 biljoen transistors op een enkele chip worden geplaatst, wat op zijn beurt voor 850.000 cores zorgt. Het bedrijf heeft inmiddels meer details onthuld op de Linley Spring Processor Conference.
De WFE 2 is 55,9 keer zo groot als de grootste gpu ter wereld: de Nvidia A100.
Zo'n grote oplossing is vooral interessant op het gebied van AI. Het trainen van moderne datamodellen vergt aardig wat tijd. Zo moeten organisaties deze opdracht vaak verdelen over tientallen, honderden of zelfs duizenden gpu’s om voor een haalbare trainingstijd te zorgen. Het is niet eenvoudig om toepassingen voor dergelijke opstellingen te programmeren, onder andere communicatie en synchronisatie zijn cruciale factoren.
In plaats van een kleine cluster van snellere kleinere apparaten te bouwen, combineert Cerebras de AI-reken- en geheugenbronnen van een cluster op één apparaat, waardoor een snellere training en een lagere latentie mogelijk is. In plaats van een enkele, monolithische die heeft de fabrikant meerdere dies aan elkaar 'geplakt'. Een speciale communication fabric zorgt voor het onderling uitwisselen van data tussen de verschillende dies.
| Wafer Scale Engine | Wafer Scale Engine 2 | |
|---|---|---|
| Procedé | TSMC 16nm | TSMC 7nm |
| AI-kernen | 400.000 | 850.000 |
| Die size | 46.255 mm2 | 46.255 mm2 |
| Transistors | 1.2 Biljoen | 2.6 Biljoen |
| Onboard geheugen | 18 GB | 40 GB |
| Geheugenbandbreedte | 9 PB/s | 20 PB/s |
| Fabric Bandwidth | 100 Pb/s | 220 Pb/s |
| Energieverbruik (Systeem/Chip) | 20kW / 15kW | 20kW / 15kW |
Deze fabric ziet met een snelheid van 220 Petabit per seconde meer dan een verdubbeling in vergelijk met de WSE1. Ook het onboard geheugen heeft een upgrade gekregen, van 18 GB naar 40 GB. Hoewel de exacte kloksnelheid niet bekend is, heeft het bedrijf gehint dat dit tussen 2,5 GHz en 3 GHz ligt (even snel als de eerste generatie).
De chip wordt opnieuw in een 15U-systeem geplaatst dat specifiek voor de WFE 2 is ontworpen. Aangezien de grootte en het energieverbruik niet zijn veranderd, is het ontwerp grotendeels gelijk gebleven. De fabrikant heeft geen prijzen onthuld. Momenteel zijn er wel werkende systemen in gebruik door het Argonne National Laboratory voor kankeronderzoek, maar ook om zwarte gaten te bestuderen. Naar verwachting zullen de eerste exemplaren in Q3 2021 op de markt komen.
Update 21-04, 11:55 -
Op verzoek van enkele reacties zijn er nu ook foto's die de binnenkant van het CS-1-systeem tonen. Aangezien Cerebras nog geen beelden heeft onthuld van de vernieuwde versie, gaat het hier om de eerste generatie. Aangezien de WFE 2 even groot is en hetzelfde stroomverbruik heeft als zijn voorganger, zou het ontwerp wel grotendeels gelijk zijn gebleven.
Het systeem gebruikt een 'sandwich-ontwerp': de WFE is in het midden geplaatst (rode cirkel).
Bron: Tom's Hardware
