Opbouw van een supercomputer
Een supercomputer bouwen is dan ook geen sinecure, het is aanzienlijk complexer dan pizzadozen in racks blijven schuiven en die met netwerkbekabeling aan elkaar knopen tot een soort kritische massa is bereikt. Supercomputers worden zonder uitzondering ontworpen voor een taak of set taken die vooraf is gedefinieerd. Sommige workloads hebben baat bij een zo hoog mogelijk aantal rekeneenheden, andere vereisen hoge klokfrequenties of juist veel of snelle geheugentoegang, en bij weer andere is de onderlinge communicatie tussen de nodes belangrijker dan de snelheid waarop die werken. Het is dus zaak de juiste balans te treffen en daarvoor beschikken de bedrijven die deze supercomputers bouwen over simulatieomgevingen waarbinnen de vereisten van een taak in kaart worden gebracht. Zo heeft Lenovo in Stuttgart een voor derden gratis te gebruiken supercomputer staan, waarop potentiële klanten workloads kunnen draaien om een beeld te krijgen van wat voor soort eisen deze stelt aan een systeem.
Timelapse van de installatie van MareNostrum IV
Uiteindelijk rolt daar een formule uit voor een optimaal gebalanceerd systeem, waarbij de fysieke omvang een aspect is dat zeker niet vergeten moet worden. Het is technisch mogelijk om hele grote hoeveelheden rekenkernen in een klein oppervlak te plaatsen, maar niet alleen creëert dat uitdagingen qua koeling - en dan moeten bij luchtkoeling racks verder uit elkaar worden geplaatst, wat weer meer ruimte eist - maar ook qua stroomverbruik (één MareNostrum IV rack heeft een piekverbruik van iets minder dan 34 kW) en zelfs gewicht. Het draagvermogen van servervloeren, waaronder een dicht netwerk van bekabeling en koeling loopt, is niet oneindig. Een geheel gevuld serverrack weegt (ruim) meer dan een ton (1,3 ton voor de racks in Barcelona). Voor HPC is een hoge dichtheid bijna een vereiste: hoe dichter systemen en racks op elkaar staan, hoe sneller de communicatiemogelijkheden. Deze in jargon high density brengt dus weer een extra set eisen met zich mee.
Er is dus een groot aantal variabelen, dat mede bepaalt hoe groot de rack trays zijn die worden toegepast - 1U of 2U doorgaans - en hoeveel servers er in een tray zitten, hoeveel processors er in een server zitten en op wat voor kloksnelheid die draaien. Die laatste factor is bij de recente Lenovo installaties dynamisch: afhankelijk van de workload en de belasting van de cores kan de kloksnelheid variëren om de balans te vinden tussen optimale benutting en de grenzen van koeling en energieverbruik. Met duizenden nodes is dat een indrukwekkende functionaliteit.
Koeling - zonder en met water
De meeste supercomputers zijn nog altijd luchtgekoeld, maar naarmate de dichtheid - het aantal cores per systeem/node, het aantal nodes per rack - toeneemt, loopt luchtkoeling tegen zijn grenzen aan. De kosten voor alternatieve oplossingen zijn hoger, maar op gegeven moment onvermijdelijk. Lenovo claimt voorop te lopen met de toepassing van waterkoeling. Waar je als consument die weet dat waterkoeling flinke voordelen heeft wellicht de wenkbrauwen even optrekt over deze trots op een weinig nieuwe techniek, is waterkoeling bij een supercomputer wel van een iets ander kaliber dan in de doorsnee desktop.
In het Barcelona Supercomputer Center kon men ondanks de zeer hoge dichtheid van het systeem nog volstaan met luchtkoeling - die is overigens bijzonder vernuftig uitgevoerd: de temperatuur rond de racks viel bijzonder mee, terwijl ook de geluidsproductie niet extreem hoog was. In het nog recenter geopende SuperMUC-NG in het Leibniz Rechenzentrum oftewel LRZ, momenteel goed voor de achtste plaats op de Top-500 van supercomputers, was waterkoeling de enige manier om de ruim 300.000 cores op voldoende hoge snelheid te laten draaien. Hier zitten in 1U trays steeds twee systemen, elk met een 24-core/48-thread Intel Xeon processor, waarbij elk systeem gekoeld wordt met gedemineraliseerd water dat door koperen leidingen langs processors, geheugen, interconnects en vrm's stroomt - alleen de voeding is nog niet watergekoeld.
Het bijzondere aan de waterkoeling van Lenovo is de temperatuur waarmee deze werkt: binnenkomend 'koud' water is 45-50 graden, wanneer het het systeem verlaat is het tot 62 graden warm. Daarmee is het voldoende warm om te benutten voor bijvoorbeeld verwarming. Zo wordt de energie waarmee de supercomputer wordt gevoed nog efficiënter benut. Deze vorm van koeling vereist speciaal geconstrueerde centrale regeleenheden met daarin onder meer krachtige pompen, en continue monitoren van de flow rate en temperatuur van het water - maar desondanks is dit een energiezuiniger vorm van koeling dan de klassieke aanpak met gekoelde lucht.
Nog iets bijzonders: de ThinkSystem SD650 eenheden waarin deze vorm van koeling is geïntegreerd worden geleverd met een gevulde waterkoeling, en ze zijn hot pluggable in het rack - inclusief de aansluiting op de waterstroom. De hiervoor gebruikte koppelstukken zijn 'zero drip', met een ontwerp dat afkomstig is van brandstofleidingen.
Overigens past Lenovo binnen de set waterkoelingstechnieken die het 'Neptune' noemt ook heatpipe koelers toe; in de consumentenmarkt heel gangbaar, maar minder gebruikelijk in HPC-omgevingen. Ook de genoemde dynamische kloksnelheid maakt onderdeel van 'Neptune'.
Flash en Optane
De opkomst van flashopslag heeft een grote invloed gehad op de ontwikkeling van supercomputers. Waar voor hyperscale toepassingen opslag zich niet per se dichtbij de rekeneenheden hoeft te bevinden en bijvoorbeeld met behulp van snelle fiberverbindingen ook op afstand kan staan, is dat voor HPC-toepassingen niet wenseijk. De opkomst van flash maakt het niet alleen mogelijk om storage dichter bij compute te brengen, maar heeft ook door zijn snelheid een forse sprong betekent in hoe snel rekeneenheden over opgevraagde data kunnen beschikken.
In een gesprek met Rick Koopman, Technical Lead bij Lenovo HPC voor EMEA, kregen we te horen dat Optane hier voor nog meer winst zal gaan zorgen, maar in huidige installaties is daar nog niet veel mee gedaan. Pas het komende Cascade Lake platform van Intel zal hier direct gereed voor zijn (bestaande installaties zijn dat alleen na een firmware en hardware upgrade, wat bij duizenden nodes in een installatie niet haalbaar is), en die systemen worden later dit jaar uitgeleverd. 3D Xpoint zorgt ervoor dat flashopslag nog dichter op de processor zit en bovendien met een veel hogere bandbreedte benaderbaar is, wat een duidelijk voordeel moet gaan opleveren.
