Problemen komen nooit alleen, een wijsheid die zeker voor een serverpark geldt. Sinds juli vorig jaar waren we al niet meer in het datacenter van onze hostingpartner Nxs geweest, alles draaide als een zonnetje. De laatste weken lopen we wel tegen wat uitdagingen aan. Allereerst lijkt onze database server Phoenix op gezette tijden te bezwijken onder de zware load. De incidentele crashes van de site de afgelopen tijd hebben daar mee te maken: we zijn hard op zoek naar de oplossing, maar aangezien we telkens slechts één wijziging per keer kunnen doorvoeren, kunnen we helaas nog niet met zekerheid zeggen dat we die gevonden hebben. Afgelopen week kwam er meer ellende bij; onze development-server Andromeda bleek er geen zin meer in te hebben en tot overmaat van ramp bleek onze PDU (een op afstand schakelbaar stekkerblok) ook nog eens kapot, zodat we servers niet meer van afstand konden resetten. Aangezien de bestaande development server gisterochtend vrijwel helemaal de geest gaf, hebben we besloten om direct een groot serveronderhoud te doen, wat eigenlijk voor over twee weken was gepland.
Wat is er gebeurd? Allereerst hebben we een aantal oude, niet meer gebruikte servers weggehaald. Belangrijker is de plaatsing van een geheel nieuwe development server (Andromeda2) en een nieuwe mailserver (Mercurius2). Beide servers worden zo spoedig mogelijk in gebruik genomen. Net als de Hardware.Info webserver (Orion) en databaseserver (Phoenix) zijn de nieuwe machines gebaseerd op SuperMicro barebones en maken we gebruik van Adaptec RAID-oplossing. Andromeda2 is verder gebaseerd op AMD Opteron Shanghai-processors (8 cores totaal) met 16 GB RAM. Mercurius2 is gebaseerd op energiezuinige Intel Xeon Harpertown CPU's (eveneens 8 cores in toaal) met 8 GB RAM. Tevens hebben we de PDU vervangen door een nieuw exemplaar. Daardoor was het helaas noodzakelijk om de stroom van alle servers af te halen, wat een downtime van circa een uur gisterenmiddag tot gevolg had.
Op dit moment ziet ons serverrack bij Nxs er als volgt uit:
Van boven naar onderen:
Orion - HWI Webserver
Phoenix - HWI Databaseserver
Mercurius 2 - Nieuwe HWI mailserver
Andromeda 2 - Nieuwe HWI dev-server
Andromeda 1 - Bestaande devserver
Ongebruikte server
Mercurius 1 - Bestaande mailserver
Vrijwel alle problemen zijn gisteren opgelost, alleen voor de zeer vervelende incidentele databaseproblemen bestaat nog geen waterdichte oplossing. We blijven echter alert op mogelijke site crashes en zullen telkens zo spoedig mogelijk ingrijpen. Ook hebben we een pakket nieuwe (softwarematige) maatregelen klaarliggen, wat eventuele problemen op korte termijn zal moeten verhelpen.
