Enkele maanden na de aankondiging van de Grace Hopper Superchip (GH200) heeft Nvidia nu ook zijn H200 AI-accelerator uitgerust met hbm3e. Door het gebruik van meer en sneller geheugen moet hij flink beter presteren dan zijn voorganger. Afhankelijk van de precieze workload claimt de fabrikant een uplift van maximaal 90 procent.
De H200 heeft zes hbm3e-stacks aan boord.
Terwijl Nvidia geen volledige specificaties heeft gelost, ziet het ernaar uit dat het gebruik van hbm3e de meest onderscheidende eigenschap is ten opzichte van de vorige generatie. Waar de H100 het moet doen met 80 GB hbm3 met een bandbreedte van 3,35 TB/s, beschikt de H200 over 141 GB hbm3e met een bandbreedte van 4,8 TB/s (76% hogere capaciteit, 43% meer bandbreedte).
Deze upgrade komt goed van pas in AI-gebaseerde workloads zoals Large Language Models. Volgens Nvidia’s cijfermateriaal is de H200 60 procent sneller dan de H100 in GPT-3 175B, ofwel 18 keer krachtiger dan de A100 (2021) met de Ampere-architectuur. In Llama2 70B loopt de voorsprong van de H200 verder op, tot wel 90% meer ten opzichte van de H100.
De H200 zal onder meer beschikbaar zijn in Nvidia’s HGX H200-servers, met vier of acht accelerators per. Deze systemen zijn bovendien compatibel met de hardware én software van het bestaande HGX H100-platform. De eerste exemplaren worden naar verwachting geleverd in het tweede kwartaal van 2024.
