Rechenzentrums-Klimatisierung Höchste Kühlleistung auf geringer Fläche

Autor / Redakteur: Michael Nicolai & Patricia Späth / Susanne Ehneß

Hochleistungsrechner tragen erheblich zur Sicherung des Wissenschaftsstandortes Deutschland bei. In Rheinland-Pfalz wurde Ende 2012 ein neuer Supercomputer an der Technischen Universität Kaiserslautern in Betrieb genommen, mit einer für diesen Leistungsbereich speziell entwickelten Kühllösung von Rittal.

Firmen zum Thema

Rittal ordnete die Racks in Warmgang-Aufstellung an und schottete den Gang ab, in dem die Lufttemperatur bis auf 50 Grad Celsius steigen kann
Rittal ordnete die Racks in Warmgang-Aufstellung an und schottete den Gang ab, in dem die Lufttemperatur bis auf 50 Grad Celsius steigen kann
(Bild: Rittal)

SuperMUC, JuQueen, Hermit, Mogon, Elwetritsch: Hochleistungsrechnen ist aus Wissenschaft und Forschung nicht wegzudenken. In der Grundlagenforschung und in der Entwicklung neuer Stoffe und Verfahren werden Vorgänge, beispielsweise die Ausbreitung von Wellen, mittels leistungsstarker Rechner simuliert und modelliert. In der Biologie werden Proteine analysiert, in der Klimaforschung die Auswirkungen von Veränderungen bei Niederschlagsmengen oder Temperatur durchgespielt.

Bildergalerie
Bildergalerie mit 10 Bildern

Um Deutschland als Standort für Spitzenforschung zu stärken, entstehen bundesweit an Forschungseinrichtungen und Hochschulen Rechenzentren für High Performance Computing (HPC). In Rheinland-Pfalz koordinieren über die Allianz für Hochleistungsrechnen Rheinland-Pfalz (AHRP) die Universitäten Kaiserslautern und Mainz die Schaffung und Bereitstellung dieser Ressourcen. Ihr Beitrag zur Superrechner-Landschaft sind die Zwillingscomputer Mogon an der Johannes-Gutenberg-Universität Mainz und Elwetritsch an der Technischen Universität Kaiserslautern, die über eine 13x10-GBit-Glasfaserverbindung ihre Rechenleistung bündeln können.

Nach der Fertigstellung von Mogon im Sommer 2012 sollte mit Elwetritsch, benannt nach dem in der Pfalz beheimateten Fabelwesen, die Rechenkapazität für die Hochschulen und Forschungseinrichtungen in Rheinland-Pfalz aufgestockt werden. Ziel war es, die kleinen Einheiten von ein bis drei Racks in den jeweiligen Arbeitsgruppen des Standortes zusammenzuführen beziehungsweise abzulösen.

Höchste Kühlleistung auf 0,33 Quadratmeter

Beim Aufbau der neuen HPC-Infrastruktur an der TU-Kaiserslautern lag zunächst der Gedanke nahe, die schnellen Rechner in das bestehende Rechenzentrum zu integrieren. „Dafür reichte jedoch zum damaligen Zeitpunkt der Platz nicht aus“, sagt Heiko Krupp, Wissenschaftlicher Mitarbeiter am RHRK der TU Kaiserslautern und verantwortlich für die Infrastruktur im Bereich Rechenzentrum. „Außerdem benötigen Hochleistungsrechner sehr viel Kühlung. Dafür hätte das Rechenzentrum unter laufendem Betrieb umgebaut werden müssen, was nachteilig für dessen Betriebssicherheit gewesen wäre.“

Die TU Kaiserslautern entschied sich daher, einen größeren Infrastrukturraum in der Nähe des bestehenden Rechenzentrums zu benutzen und umzubauen. Mit rund 65 m2 war er gerade groß genug, dass er Racks mit insgesamt 650 Höheneinheiten aufnehmen konnte. Bei der dichten Packung der Rechner auf dem begrenzten Raum sollte die Kühlleistung 200 kW bis 250 kW betragen – und damit genau so viel wie für das bestehende Rechenzentrum auf einer mehr als fünfmal so großen Fläche. Damit keine Verzögerungen entstehen, weil Komponenten unterschiedlicher Hersteller aufeinander abgestimmt werden müssen, war der TU Kaiserslautern außerdem wichtig, dass das die neue HPC-Infrastruktur als Systemlösung umgesetzt wird.

Rittal beteiligte sich an der Ausschreibung und erhielt den Auftrag. Nach Mogon in Mainz, für den Rittal kurz zuvor die Hochleistungs-Klimatisierung realisiert hatte, waren Kompetenz und Lösungen des Anbieters auch für den Zwillingsrechner gefragt. Das liegt zum einen daran, dass der Spezialist für IT-Infrastrukturlösungen alle geforderten Komponenten aus einer Hand anbieten kann, von Klimalösung und Doppelboden über Gangeinhausung und Racks im Sonderformat bis zum Monitoring-System. „Zum anderen“, so Krupp, „hat uns Rittal eine ausgeklügelte High-Performance-Kühlung vorgeschlagen, die unserem Rechenzentrum die erforderliche Leistung und Redundanz auf geringer Fläche zur Verfügung stellt.“

Bei der Kühllösung handelt es sich um Klimageräte der Baureihe Liquid Cooling Package (LCP) mit Luft/Wasser-Wärmetauscher, die kaum mehr als einen Drittel Quadratmeter Stellplatz brauchen.

Mehr Höheneinheiten nutzbar

(Bild: Rittal)

Innerhalb von drei Monaten erfolgte der Umbau des Raumes und der Installation der Racks und Klimainfrastruktur. Zunächst mussten die bisherige Infrastruktur des Raumes entfernt und dann neue Versorgungssysteme für Strom und Wasser eingebaut werden. Die Führung der Kaltluft erfolgt nicht über den Doppelboden zu den Server-Schränken, sondern wird von den LCPs, die in den Rack-Reihen zwischen den Server-Schränken aufgestellt sind, über die gesamte Höhe ausgeblasen.

„Die Kaltluft verteilt sich gleichmäßig nach rechts und links über die Fronten der benachbarten Racks mit dem Ergebnis, dass wir alle Höheneinheiten ohne Gefahr der Bildung von Hotspots nutzen können“, sagt Krupp. „Auf diese Weise ermöglicht uns die Lösung von Rittal, dass wir eine größere Anzahl von Rechnern unterbringen, als wir ursprünglich veranschlagt hatten.“ Die 16 Racks wurden in zwei Reihen à acht Racks angeordnet, dazwischen in jeder Reihe fünf Klimaschränke. Für höchste Verfügbarkeit legte Rittal die Anzahl, Leistung und die Verteilung der LCPs auf die Rack-Reihen in einer „n+1“ Konfiguration fest.

Bei der Aufstellung der Racks war zu berücksichtigen, dass sich in dem neuen Rechenzentrum nicht nur Server und Klimageräte befinden, sondern auch die USV-Anlagen und Elektroverteilung. „Wir mussten verhindern, dass die Raumtemperatur über 22 Grad Celsius steigt und die Funktionsfähigkeit der anderen Rechenzentrumskomponenten beeinträchtigt oder ihre Lebenszeit verkürzt“, erläutert Krupp. Rittal ordnete die Racks in Warmgang-Aufstellung an und schottete den Gang ab, in dem die Lufttemperatur bis auf 50 Grad Celsius steigen kann.

Trennung von Elektronik und Wasser

Um solche hohen Temperaturen abzuführen, gibt es keine effizientere Lösung, als die physikalischen Eigenschaften von Wasser zur Wärmeabfuhr zu nutzen. Die an der Server-Rückseite abgegebene Warmluft wird von den LCPs angesaugt und über den Luft/Wasser-Wärmetauscher abgekühlt. Die gekühlte Luft wird dann auf der Vorderseite in Racks abgegeben. Dabei sind Wasserkreislauf und Elektronik durch die Unterbringung in unterschiedlichen Schränken vollständig voneinander getrennt. Komponenten im Rack können nicht mit austretendem Wasser in Berührung kommen. Leckage-Sensoren in den LCPs erkennen einen Defekt im Wasserkreislauf sofort und melden ihn über ein Sicherheitssystem an einen Techniker.

Jedes LCP ist über die im Doppelboden verlaufende Verrohrung an die zentrale Kühlwasserversorgung der Klimatechnik der TU Kaiserslautern angeschlossen. Die Vorlauftemperatur beträgt zirka 10 Grad Celsius und erwärmt sich in den LCPs auf zirka 17 bis 23 Grad Celsius. Durch den sehr gezielten Einsatz der Kaltluft in LCPs könnten die Vorlauftemperaturen im Wasserkreislauf sogar bis auf 21 Grad Celsius erhöht und so eine effizientere Klimatisierung durch Ausdehnung der Freikühlzeit erreicht werden. „Energieeinsparungen durch höhere Vorlauftemperaturen spielen für uns noch keine Rolle“, sagt Krupp. „An einer technischen Universität wird sehr viel Kälte benötigt, beispielsweise um in der Chemie spezielle Laborräume zu klimatisieren. Das Rechenzentrum ist dabei nur ein Verbraucher unter vielen.“ Um den Stromverbrauch für den gesamten Bereich der Klimatisierung zu senken, soll ab Ende 2013 die Kälteversorgung auf freie Kühlung umgestellt werden.

(Bild: Rittal)
Nach der Installation aller anderen Komponenten und den Tests für Server, Dateisysteme und Software hat Elwetritsch im Dezember 2012 den Betrieb aufgenommen und steht der TU Kaiserslautern und den anderen Hochschulen und Forschungseinrichtungen des Landes Rheinland-Pfalz offen.

Rechenreserven für das Bundesland

„Aus den Fachbereichen, die ihre Systeme zugunsten der Clusterlösung aufgegeben haben, kamen prompt positive Rückmeldungen“, sagt Krupp. „So ein hochmodernes Linux-Cluster mit mehr als 200 Rechenknoten erledigt die Großaufträge spürbar schneller als die bisherigen Einzelsysteme.“

Reserven für weiteres Wachstum sind vorhanden; und auch was die Kühlleistung angeht, gibt es genügend Spielraum. Von den 250 kW, die die Rittal-Lösung abfahren kann, werden derzeit 95 kW, bei voller Auslastung der Rechner 115 kW in Anspruch genommen.

Erwartungen übertroffen

Ein Monitoring-System hält ihn über alle Werte der Klimalösung auf dem Laufenden. „Um Hotspots oder Serverausfälle infolge Überhitzung muss ich mir absolut keine Gedanken machen“, weiß Krupp. „Mit dem LCP System hat Rittal unsere Erwartungen übertroffen: hohe Kühlleistung auf geringer Fläche bei höchster Verfügbarkeit.“

Bildergalerie
Bildergalerie mit 10 Bildern

(ID:42537693)