Hewlett Packard Enterprise heeft een alles-in-één supercomputeroplossing gelanceerd voor generatieve AI. Het bedrijf heeft de behoefte aan een verschuiving van focus van op webdiensten gebaseerde oplossingen naar systemen geoptimaliseerd voor kunstmatige intelligentie opgemerkt. In tegenstelling tot cloud-native services, die vaak veel werkprocessen over veel nodes verspreiden, bestaat AI-werk vaak uit een werkproces dat wordt verdeeld over veel nodes. Huidige webservers zijn niet geoptimaliseerd voor dergelijke processen, dus is HPE aan de slag gegaan om een oplossing te vinden die hier goed bij past.
De oplossing is de HPE Cray EX2500-supercomputer, geoptimaliseerd voor generatieve AI-werkprocessen, in combinatie met de Nvidia Grace Hopper-superchip. Deze supercomputer is gebouwd op basis van energie-efficiënte Cray-servers, waarbij gebruik wordt gemaakt van NVLink om de Nvidia-kaarten te koppelen en de systemen zelf met HPE Slingshot. Daarnaast wordt een robuuste softwareoplossing geleverd, inclusief HPE Machine Learning Development en het Cray Programming Environment. Wat het systeem uniek maakt, is dat alles in één kast past, inclusief de vloeibare koeloplossing. Hierdoor kunnen organisaties die AI in hun bedrijfsvoering willen implementeren, beginnen met een supercomputer en deze uitbreiden naarmate de vraag toeneemt en extra supercomputers nodig zijn.
De HPE Cray EX2500-supercomputers maken gebruik van de gloednieuwe Nvidia Grace Hopper GH200-chips. Deze chips hebben 624 GB aan hoogwaardig geheugen, in combinatie met 72 ARM-kernen. Ze hebben een busnelheid van 4,9 TB/s, waardoor ze 4 petaflops aan AI-prestaties kunnen leveren. Een node binnen het systeem bevat vier Grace Hopper-chips. Het systeem is gemiddeld 2 tot 3 keer sneller dan hun oude A200-servers. Afhankelijk van het type workload kunnen de verschillen ten opzichte van een dual x86-server nog groter zijn, dankzij de accelerators in de Grace Hopper-chips. Deze kunnen tot 8 keer sneller zijn, zoals bij het ICON-weermodel, tot wel 101 keer sneller bij het RAG LLM Inferentie-model.
HPE verwacht dat hun klanten die interesse hebben in deze servers afkomstig zijn uit de publieke sector, academische wereld, onderzoeksinstituten en zeer grote bedrijven. Voorbeelden van toepassingen zijn het trainen van grote taalmodellen, deep learning-aanbevelingsmodellen en graph neural networks. De kracht van deze supercomputer ligt vooral in het trainen en leren van AI-modellen. Hoewel hij chatGPT zou kunnen draaien, maakt dat slechts een klein deel uit van alle functionaliteiten van deze supercomputer. Het is vooral bedoeld om zeer grote modellen te kunnen draaien met enorme datasets, volgens de fabrikant.
Bron: HPE
