Der Energieaufwand für die Kühlung der Serverräume in Rechenzentren ist allgemein sehr hoch. Meistens steht er nach dem Energiebedarf der aktiven IT-Komponenten an zweiter Stelle. Ein optimiertes Kühlsystem bietet somit ein großes Energiesparpotenzial.
Dieses Potenzial wollen Manfred Haide (Leiter des Referats Rechenzentrum) und Djordje Bogdanovic (Technischer Leiter des Rechenzentrums) von der BITBW in Stuttgart ausschöpfen. Schon längerfristig planen sie daher eine Kaltgangeinhausung in den Maschinensälen des BITBW-Rechenzentrums. Im Jahr 2018 wurde die Einhausung der ersten fünf Kaltgänge in zwei Maschinensälen umgesetzt.
Geschätzte Energieersparnis: 100 Megastunden pro Jahr
Durch die Einhausung der fünf Kaltgänge wird geschätzt 10 Prozent weniger Energie zur Kühlung benötigt. Bei einem Verbrauch von 1.120 Megawattstunden im Jahr 2017 beläuft sich die Energieersparnis auf 100 Megawattstunden pro Jahr. Aktuell sind 50 Prozent der BITBW-Serverräume eingehaust. Bei einer Kompletteinhausung der restlichen 50 Prozent, die in den Folgejahren geplant ist, können schätzungsweise 200 Megawattstunden pro Jahr eingespart werden.
BITBW spart Energie durch Kaltgangeinhausung
Im August 2017 nahmen Haide und Bogdanovic eine Marktsichtung vor und holten erste Angebote ein. Angedacht war zunächst, die Möglichkeit von Energie-Contracting zu nutzen. Diese Form der Finanzierung hat sich jedoch als nicht praktikabel erwiesen.
Insgesamt zog sich die Beratungsphase über zwei bis drei Monate. Die Beantragung der Mittel für den Bau dauerte etwa einen Monat. Die eigentliche Planungsphase nahm einen weiteren Monat in Anspruch.
Nachdem zunächst die Kabelführung in den Serverräumen optimiert worden war, startete im November 2018 der Bau der Einhausung. Die Umbauarbeiten dauerten vier Wochen und konnten ohne Betriebsausfall umgesetzt werden. Im nächsten Schritt wurden die Serverschränke abgedichtet und mit Sensoren versehen. Anhand der Sensoren ermittelten Klimatechniker schließlich das optimale Temperaturniveau für die Umluftkühler. Ende 2018 war die Maßnahme umgesetzt.
Hinweis: Beim Energie-Contracting bezahlt eine externe Firma als sogenannter Contracting-Geber die Energiesparmaßnahme. Im Nachgang wird sie an der Kosteneinsparung durch den reduzierten Energieverbrauch beteiligt.
Im Rechenzentrum der BITBW erfolgt die Kühlung der Server durch Kaltluft, die an der Vorderseite der Serverschränke aus dem Doppelboden nach oben strömt (Kaltgang). Die von den Servern erwärmte Abluft wird auf der Rückseite der Schränke abgeführt (Warmgang). Sind die Gänge nicht eingehaust, vermischen sich warme und kalte Luftströmungen. Es kommt zu Verwirbelungen und sogenannten Hotspots, an denen sich warme Luft sammelt. Server, die weiter oben im Schrank stehen oder sich in der Nähe eines Hotspots befinden, werden weniger stark gekühlt als Server in der Nähe des Doppelbodens. Damit dennoch alle Server ausreichend gekühlt werden, muss die Temperatur der einströmenden Kaltluft tief genug sein.
Bei einer Kaltgangeinhausung werden die Kaltgänge rundherum durch Wände (meist aus Glas oder Plexiglas) abgeschlossen. Die Einhausung verhindert die Durchmischung von kalter und warmer Luft. So werden auch die oberen Server nach einer Anhebung der Temperatur im Kaltgang noch ausreichend gekühlt. Zusätzlich kann der Luftdruck verringert werden, mit dem die Kaltluft aus dem Doppelboden gepresst wird. Die erhöhte Zulufttemperatur und der verringerte Luftdruck sparen Energie.
Neben der Energieeinsparung bietet die Kaltgangeinhausung einen weiteren positiven Effekt: Durch die effizientere Kühlung können die Server in den Serverschränken dichter gepackt werden. Dadurch entsteht also Platz für weitere Server.
Die Bedingungen vor Ort
Der Bau in der Krailenshaldenstraße 44 ist aus dem Jahr 1973. 2008 wurde das Rechenzentrum im Keller des Gebäudes komplett erneuert.
Neben BITBW betreibt Komm.ONE ein Rechenzentrum im selben Gebäude. Das Rechenzentrum der BITBW belegt mit 800 Quadratmeter den größten Flächenanteil und verbraucht rund 75 Prozent der Gesamtstromkosten. Die Klimatisierung des Gebäudes erfolgt zentral.
Das Kühlsystem des Rechenzentrums ist ein klassisches Mischsystem: In einem Kaltwassersatz auf dem Dach des Gebäudes wird durch indirekte freie Kühlung und vier Kältemaschinen Kaltwasser erzeugt. Der Kaltwassersatz beschickt die beiden Rechenzentren im Gebäude mit Kühlwasser.
Kaltwassersatz mit vier Kältemaschinen im Gebäude der BITBW
- thermische Nennleistung je Kältemaschine: 500 Kilowatt
- Redundanz: N+1
- maximale Kühlleistung für alle Rechenzentren im Gebäude: 1.500 Kilowatt
- maximale Kühlleistung für BITBW-Rechenzentrum: 1.130 Kilowatt
- Vorlauftemperatur: 12 Grad Celsius
- Rücklauftemperatur: 18 Grad Celsius
Das Kühlwasser wird im Keller durch Umluftklimaschränke geführt und unterstützt die Umluftkühler der einzelnen Maschinensäle bei der Produktion von Kaltluft. Diese Kaltluft strömt schließlich aus dem Doppelboden im Kaltgang der Maschinensäle und kühlt die Server.
Die Solltemperatur der Kaltluft können die Mieter selbst bestimmen. Vor Umsetzung der Maßnahme war sie auf 22 Grad Celsius eingestellt. Bogdanovic rechnet damit, dass die Temperatur im Kaltgang durch die Einhausung um drei Grad Celsius angehoben werden kann. Dadurch sind nach einer Kompletteinhausung Einsparungen von bis zu 200 Megawattstunden im Jahr möglich.
Um die Vorlauftemperatur des Kühlwassers zu erhöhen, müssen alle Mieter zustimmen. Aktuell beträgt sie 12 Grad Celsius, die Rücklauftemperatur 18 Grad Celsius.
Erst wenn alle Rechenzentren im Gebäude eingehaust sind, ist es möglich, die Vorlauftemperatur des Kühlwassers heraufzusetzen. Dadurch erhöht sich der Anteil der freien Kühlung. Die benötigte Energie für die Kältemaschinen reduziert sich entsprechend.
Die freie Kühlung durch die natürliche Außentemperatur ist kostenlos und CO2-neutral.
Hinweis: Freie Kühlung bezeichnet hier die Temperaturabsenkung im Rechenzentrum durch natürlich temperierte Außenluft. Indirekte freie Kühlung bedeutet, dass das Kühlwasser nicht direkt mit der Außenluft in Kontakt kommt. Je besser die freie Kühlung in ein Kühlsystem integriert werden kann, desto weniger Energie muss für künstliche Kälteerzeugung aufgewendet werden.
Schon vor längerer Zeit optimierte BITBW die Kühlung in Maschinensaal 0. Aus baulichen Gründen wurde hier allerdings der Warmgang eingehaust. Zwischen den Serverschränken stehen Reihenkühlungselemente mit geschlossenem Wasserkreislauf und kühlen die warme Luft ab.
Der Effekt ist ähnlich: Auch hier treten weniger Verwirbelungen und Hotspots auf und die Temperatur der Kaltluft kann erhöht werden.
Nächster Schritt: Austüfteln der optimalen Kaltlufttemperatur
Im Dezember 2018 war die Einhausung der fünf Kaltgänge abgeschlossen. Es folgte die Abdichtung der Serverschränke sowie die Einstellung der richtigen Temperatur der Umluftkühlgeräte. Dazu statteten Klimatechniker die Maschinensäle mit Sensoren und Druckfühlern aus und führten ein Monitoring durch. Die Herausforderung hierbei war das Ermitteln der optimalen Kaltlufttemperatur. Zu warme Luft erzielt nicht den gewünschten Kühleffekt. Zu kalte Luft bewirkt dagegen das unerwünschte Kondensieren von Feuchtigkeit.
Kosten und Förderung
Die Gesamtkosten für die Maßnahme belaufen sich auf rund 100.000 Euro. Die Einhausung der fünf Kaltgänge schlug mit rund 80.000 Euro zu Buche, Sensoren, Klimatechnik und Temperatureinstellung kosteten 15.000 Euro. Weitere Kosten in Höhe von 5.000 Euro entstanden durch Blenden und Bürsten zur Verbesserung der Luftzirkulation.
40 Prozent der Kosten förderte die Kompetenzstelle Green IT des Umweltministeriums Baden-Württemberg.
Bei der erwarteten Energieeinsparung von 100 Megawattstunden (im Endausbau 200 Megawattstunden) amortisieren sich die Kosten innerhalb von drei bis fünf Jahren.
Weitere Einhausungen geplant – in Zukunft mehr freie Kühlung nutzbar
Bis 2020 sollen die restlichen Kaltgänge in den BITBW-Maschinenräumen eingehaust sein. Sofern alle Mieter bis dahin eine Einhausung vorgenommen haben, kann die Vorlauftemperatur der zentralen Wasserkühlung erhöht werden. Dann erhöht sich auch der Anteil der freien Kühlung an der Klimatisierung der Rechenzentren. Wird freie Kühlung genutzt, kann ein Kühlsystem je nach Standort pro Grad Celsius erhöhter Kaltgangtemperatur 300 bis 500 Stunden pro Jahr ohne den Einsatz einer Kältemaschine betrieben werden.
Projektfazit und Tipps
Haide und Bogdanovic sind mit der Umsetzung der Maßnahme zufrieden. Neben der hohen Energieeinsparung hebt Bogdanovic den Platzgewinn für zusätzliche Server hervor. Dank der effizienteren Kühlung kann die Leistungsdichte in den Racks um 70 Prozent erhöht werden. Da die Serverlandschaft der BITBW stetig wächst, bedeutet dies weitere Einsparungen: Die Erschließung zusätzlicher Gebäude ist erstmal nicht notwendig.
Vor der Einhausung
- Temperatur der Zuluft im Kaltgang: 22 Grad Celsius
- Leistungsdichte in den Racks: 3,5 Kilowatt
Nach der Einhausung
- Temperatur der Zuluft im Kaltgang: 24 bis 27 Grad Celsius
- Leistungsdichte in den Racks: 6 Kilowatt
Positiv ist auch, dass die Maßnahme ohne Betriebsausfall durchgeführt werden konnte.
Den Verzicht auf das Energie-Contracting sieht Haide im Nachhinein positiv. Beim Energie-Contracting entscheidet in der Regel der Contracting-Geber, welche Materialien er verbaut. Aus Kostengründen wird daher häufig Plexiglas für Einhausungen verwendet. Der Nachteil: Plexiglas verfärbt sich mit der Zeit. Zudem flattert es im Luftstrom. Haide ist daher froh, dass die BITBW diese Entscheidung selbst fällen und Echtglas verwenden konnte.
Fazit der Kompetenzstelle Green IT
Aus Sicht der Kompetenzstelle Green IT ist die Maßnahme ein klarer Erfolg. Der höhere Wirkungsgrad der Kühlanlage spart Energie und verringert die Kohlenstoffdioxid-Emissionen. Wird für die genutzte Energie der deutsche Strommix zugrunde gelegt, werden bei einer Einsparung von 200 Megawattstunden pro Jahr rund 98 Tonnen Kohlenstoffdioxid eingespart.
Hinweis: CO2-Emissionen aus dem deutschen Strommix 2017 (Hochrechnung): 489 Gramm CO2 pro Kilowattstunde (vergleiche Hochrechnung des Umweltbundesamts: Entwicklung der spezifischen Kohlendioxid-Emissionen des deutschen Strommix in den Jahren 1990 – 2017 [PDF]).
Auch der zusätzliche Platz für weitere Server durch die höhere Packungsdichte in den Racks ist aus Green-IT-Sicht ein großer Gewinn. Andernfalls müssten weitere Räumlichkeiten gefunden oder neu gebaut werden. Ein Neubau bietet zwar Chancen, von Anfang an eine noch energieeffizientere Kühlung einzuplanen. Die Versiegelung von Flächen und der hohe Rohstoffverbrauch bedeuten jedoch stets negative Auswirkungen für Natur und Umwelt.