BSC MareNostrum IV
Voor de MareNostrum IV in het Barcelona Supercomputer Center golden nog de nodige extra eisen. In de eerste plaats is er een harde beperking aan de beschikbare oppervlakte, want het BSC is gevestigd in de Torre Girona kapel uit de jaren '50. Deze maakte ooit deel uit van een meisjesinternaat, maar is alweer heel wat jaren onderdeel van de nabijgelegen universiteitscampus. Destijds werd deze locatie gekozen omdat het de enige op korte termijn beschikbare plek binnen het universiteitsgebied was met voldoende oppervlakte en het vereiste hoge plafond. Een opeenvolgende reeks steeds krachtiger supercomputers, die (deels) te zien zijn in een gang naast de ruimte waar zich de operationele supercomputer bevindt, werd er sindsdien geïnstalleerd.
Daarnaast hadden de opdrachtgevers specifieke eisen aan de vormgeving van de installatie. Hoewel deze zich bevindt op het terrein van de Catalaanse technische universiteit, is het BSC een samenwerkingsverband tussen de Spaanse regering, de Catalaanse regering en de universiteit. Vanuit de opdrachtgevers was er een duidelijke wens dat het eindresultaat er fraai uit moest zien, en dat ging tamelijk ver - zo diende een deel van de netwerkbekabeling in het zicht en in een specifieke kleur rood uitgevoerd te worden. Dat vergde niet alleen een onconventionele oriëntatie van de switches in de racks, maar ook het late vervaardigen van een partij netwerkkabels in de juiste ral-kleur.
Het eindresultaat mag er echter zijn, want dit is 's werelds enige supercomputer waar het daglicht op valt via glas-in-lood ramen, en ook de enige met een akoestisch plafond (ooit geplaatst in de tijd dat de ruimte als concertzaal fungeerde). MareNostrum IV is 10x sneller dan zijn voorganger, terwijl het energieverbruik slechts 30% hoger ligt.
Onderdelen
De MareNostrum IV is zoals zijn naam al zegt de vierde in een reeks waarvan de eerste werd geplaatst in 2004, toen ook de infrastructuur onder de grond werd gecreëerd. Deze vierde iteratie is 260 keer sneller dan de eerste MareNostrum. Waar die bestond uit 2406 nodes met 4812 IBM Power PC 970FX processors draaiend op 2,1 GHz (single core, dus 4812 cores), 9,6 terabyte werkgeheugen en 200 terabyte aan opslag en een Linpack score van 42,3 teraflops, is versie IV opgebouwd uit twee delen. In de eerste plaats een 'general purpose cluster' op basis van Intel x86-processors en een maximale rekenkracht van 11,15 petaflops; daarnaast een drietal clusters met respectievelijk IBM Power9 processors en Nvidia Volta gpu's (1,5 petaflops), een cluster Intel Knight's Hill processors (goed voor 0,5 petaflops) en een prototype cluster gebaseerd op 64-bits ARMv8 cores (0,5 petaflops)
Het Intel x86-cluster bestaat uit 3456 nodes, elk met twee Intel Xeon Platinum 8160 24-core processors uit de Skylake-X generatie, met een kloksnelheid van maximaal 2,1 GHz. Deze nodes zijn opgesteld in twee keer 24 racks, met dus 72 nodes per rack. In totaal bevat deze cluster 165 888 cores (en in theorie kan aan twee keer zoveel threads worden gewerkt, want deze processors ondersteunen HyperThreading - niet elke HPC workload kan daarvan profiteren, per workload wordt geanalyseerd wat beter werkt). Interessant detail: Lenovo kon de MareNostrum IV al de nodige maanden vóór de officiële aankondiging van Skylake-X in 2017 installeren.
Elk van de 48 Lenovo SD530 compute racks bestaat uit 72 Lenovo Stark compute nodes, 2 Lenovo G8272 switches, 3 Intel OPA 48 port edge switches en 4 32A 3 fase pdu's.
Het merendeel van deze nodes, 3240 stuks, is in jargon 'thin', voorzien van 2 GB werkgeheugen per core (en dus 48 GB per processor) - een minderheid van 216 nodes is voorzien van 8 GB per core (192 GB/cpu). In totaal beschikt MareNostrum IV dus over 394 TB werkgeheugen. Er is snelle opslag in de vorm van 830 TB aan ssd-ruimte, en het systeem beschikt over 14 petabyte aan eigen diskopslag, met daarnaast toegang tot de 24,6 petabyte aan opslag van het BSC.
De nodes zijn onderling verbonden met een 100 Gb Intel Omni-Path netwerk, en daarnaast ook nog met een 10 Gb netwerk. De netwerkswitches alleen nemen zes racks in beslag. Het besturingssysteem is SUSE Linux Enterprise Server 12 SP2. Het maximale stroomverbruik van de hele supercomputer is 1,5 megawatt.
