Helmholtz-Zentrum setzt bei HPC-Cluster-Erweiterung auf transtec

Das Helmholtz-Zentrum Dresden-Rossendorf (HZDR) hat seinen HPC-Cluster Hypnos umfassend erweitert. Als neue Cluster-Partition wurden acht Knoten mit je vier Tesla-K80-GPUs von NVIDIA erfolgreich in Betrieb genommen. Die Projektdurchführung von der Beratung über die Lösungskonfiguration und -implementierung bis zum Produktiveinsatz hat der IT-Dienstleister und HPC-Spezialist transtec übernommen.

Das HZDR ist Mitglied der Helmholtz-Gemeinschaft Deutscher Forschungszentren und betreibt grundlagen- und anwendungsorientierte Forschung zum Erhalt und zur Verbesserung unserer Lebensgrundlagen. Die zahlreichen rechenintensiven Datenanalysen und Simulationen, die im Rechenzentrum des HZDR für die Bereiche Energie, Gesundheit und Materie durchgeführt werden, machten eine Erweiterung des Supercomputers Hypnos erforderlich. Sie erfolgte innerhalb eines halben Jahres, als Lösungs- und Integrationspartner fungierte dabei die transtec AG aus Reutlingen.

Die neue GPGPU-HPC-Cluster-Partition besteht aus acht Knoten. Es handelt sich dabei um für den Rack-Einbau ausgelegte Dual-Socket-Maschinen mit einem Intel-C612-Chipsatz für Haswell-CPUs und redundanten Netzteilen. Jeder Rechenserver ist mit vier NVIDIA Tesla K80 sowie zwei Infiniband-Karten ConnectX-3 FDR (56 Gbit/s) bestückt.

Speziell für das High Performance Computing konzipiert

Die DUAL-GPUs Tesla K80 sind speziell für das High Performance Computing konzipiert und bieten pro Karte 4.992 parallele Recheneinheiten. Damit können tausende Threads simultan verarbeitet werden. Die Leistungswerte bei der Floating Point Performance liegen bei bis zu 8,74 TeraFLOPS Single-Precision und bis zu 2,91 TeraFLOPS Double-Precision. Die Speicherbandbreite beträgt 480 GByte/s.

Besonderheit ist, dass pro CPU-Sockel ein Tesla-K80-Paar mit voller Bandbreite und eine Infiniband-Karte angebunden sind. Der Cluster ist damit optimiert für NVIDIAs GPUDirect-Feature, das eine verbesserte Kommunikation zwischen den GPGPUs untereinander über RDMA ermöglicht. Die Rechenserver sind zusätzlich mit schnellen SSDs und einem im Vergleich zu den GPU-Arbeitsspeichern dreifach höheren RAM ausgestattet. Hierdurch wird potenziellen Flaschenhälsen, die bei Kopiervorgängen entstehen können, vorgebeugt und ein optimaler Workflow sichergestellt.

Schnelle Analyse großer Datenmengen

Damit ist die neue Cluster-Partition hervorragend geeignet für die schnelle Analyse großer Datenmengen sowie für komplexe Simulationen. Daher wird sie sowohl für Experimente zur Positronen-Emissions-Tomographie (PET), Materialphysik und Thermofluiddynamik genutzt als auch für Simulationen in der Plasmaphysik. In diesen Gebieten werden rechenintensive Datenanalysen und Simulationen in Echtzeit durchgeführt. Eine hohe Datenrate ist dabei ein absolutes Muss. Konkrete Anwendungsbeispiele sind zum Beispiel Dosismessungen für die Strahlentherapie, die Laser-Teilchenbeschleunigung oder die Berechnung von Strömungsprozessen.

Der gesamte Hypnos-Cluster bietet nach der Erweiterung jetzt insgesamt:

* 186 Knoten

* circa 8.000 CPU-Cores

* rund 360.000 GPU-Cores

* annähernd 35 TB Arbeitsspeicher

* eine (theoretische) Peak-Performance von 561,7 TeraFLOPS (CPU: 75,4 TeraFLOPS, GPU: 486,3 TeraFLOPS).

Der Hypnos-Cluster ist an einen ebenfalls von transtec gelieferten IBM GPFS Storage Server (GSS) mit zwei PB Storage-Kapazität und einer Spitzenbandbreite von bis zu 36 GB/s angeschlossen.

„Bereits in der Vergangenheit haben wir mit transtec erfolgreich zusammengearbeitet. Als ausgewiesener HPC-Spezialist war das Unternehmen deshalb für uns auch bei dem anstehenden komplexen Projekt eine hervorragende Wahl“, erklärt Dr. Michael Bussmann, Nachwuchsgruppenleiter „Computergestützte Strahlenphysik“ am Helmholtz-Zentrum Dresden-Rossendorf. „Und die schnelle und problemlose Projektdurchführung im vorgegebenen Zeit- und Kostenrahmen hat eindrucksvoll bestätigt, dass wir die richtige Entscheidung getroffen haben.“

„Dass sich das Helmholtz-Zentrum bei dieser umfangreichen Erweiterung seines Supercomputers Hypnos für transtec als Lösungs- und Integrationspartner entschieden hat, erfüllt uns mit Stolz“, ergänzt Robin Kienecker, Sales Manager Technical Computing bei der transtec AG in Reutlingen. „Es zeigt erneut unsere führende Position als Anbieter und Integrator von HPC-Lösungen.“