SANAM: Der grüne Supercomputer

Von Christian Seithe

Mit einer Rechenleistung von 421 Billionen Rechenoperationen pro Sekunde gehört SANAM zu den 500 schnellsten Computern der Welt, auf der weltweiten Rangliste Top500 belegt er Platz 52. Im Nahen Osten hält er die Spitzen-Position. Am KACST laufen auf SANAM Anwendungen für Seismik, Luftfahrt, Bioinformatik, Wetterforschung und Simulation. Für die Testläufe wurde SANAM von einem deutsch-saudi-arabischen Team gemeinsam am GSI Helmholtzzentrum für Schwerionenforschung in Darmstadt aufgebaut.
Bei der Planung von SANAM strebten die Forschungseinrichtungen FIAS und KACST nicht nur eine hohe Rechenleistung des High-Speed-Clusters (HSC) durch Nutzung gewöhnlicher Grafikchips an (General-Pupose computing on Graphic Processing Units – GPGPU), sondern wollten ein in Sachen thermische Verluste und Stromaufnahme optimiertes Gesamtsystem aufbauen. Die Partner bemühten sich, den weltweit effizientesten Supercomputer zu implementieren, der pro aufgenommenem Watt die höchste Leistung in Form von Rechenoperationen pro Sekunde (Flops) freisetzt (Flops pro Watt).
Um dieses Ziel zu erreichen, eruierten sie Technologien, die eine hohe Integrationsdichte auf einer offenen, heterogenen Systemplattform mit aktueller und schneller Vernetzungstechnologie vereint. Zur operativen Umsetzung ihres Vorhabens suchten FIAS und KACST nach starken Partnern, die die nötige Expertise für Supercomputing-Projekte mitbringen und weltweit lieferfähig sind. Die Wahl fiel auf den Systemintegrator Adtech Global und AMD als einer der wichtigsten Komponentenlieferanten.

Leitbild für effizientes Supercomputing

Die deutsch-arabische Cluster-Lösung enthält 608 AMD FirePro S10000-Dual-GPU-Server-Grafikkarten. Die Auswahl erfolgte mit der von KACST und FIAS festgelegten Anforderung höchster Leistungseffizienz. Das Resultat taufte man SANAM, einen Supercomputer, der ein neues Effizienz-Niveau im Bereich der GPGPU-basierten Supercomputer erreicht.
Im Rahmen des HSC-Projekts hat Adtech Global nicht nur darauf geachtet, Komponenten und Systeme zu identifizieren, die sich für die Anwendung in einem Hochleistungscluster eignen, sondern ebenfalls deren Möglichkeiten betrachtet mit Blick auf eine langfristige Weiterentwicklung sowie spätere Modifikationen und Verbesserungen. Der Systemintegrator konnte dabei seine Erfahrung mit High-End-Supercomputern nutzen, um das Cluster zu konzipieren. Zudem verfügt das Unternehmen über eine globale Infrastruktur und ist in der Lage, als Systemlieferant aufzutreten. Das vermeidet zu viele Parteien in der Lieferkette und ein entsprechend komplexes Lieferanten-Management.
„Zunächst eruierten wir Technologien mit entsprechender Zukunftsicherheit im Blick auf eine Verbesserung der Leistung, niedrige Kosten und Stromverbrauch“, erklärt Rick Rozalsky, Vice President Global Business Development bei Adtech Global. „Wir haben bereits zahlreiche High-End-Supercomputer als maßgeschneiderte Lösung aufgebaut und wussten daher von Anfang an, dass SANAM etwas besonders sein wird – aber über das Ergebnis waren wir selbst überrascht. Zudem ist es ist immer wieder spannend, am Ende einer Entwicklung und Implementierung schließlich den Netzschalter umzulegen und die unglaubliche Leistung heutiger Supercomputer zu erleben. Beim SANAM beeindruckt insbesondere die Leistungseffizienz.“
Adtech Global wählte Asus-Server des Typs ESC4000/FDR G2 als Plattform, die aktuelle Technologie bietet die Möglichkeiten für künftige Änderungen und Erweiterungen. Zur Verkabelung der 304 Server untereinander kommt die Hochgeschwindigkeits-Übertragungstechnologie InfiniBand zum Einsatz, um das HPC-Cluster zu vernetzen. eine gängige Methode bei aktuellen Super-Computer-Systemen. Die entsprechenden Komponenten bezieht Adtech von der Firma Mellanox.

Deutsch-Araber SANAM als Anregung

Supercomputer wie SANAM verändern die Sichtweise auf die Leistung von Supercomputern. Bisher stand die reine Leistung in Form von Flops im Mittelpunkt der Betrachtung. Eine neue Denkweise fokussiert auf den Umweltgedanken und damit die Leistung pro Watt als Messlatte der Effizienz. Den Benchmark bildet in diesem Bereich die so genannte Green500-Liste, die die effizientesten Supercomputer listet. Um auf dieser Liste aktuell auf einem der ersten Plätze zu landen, ist eine Leistungsausbeute von über 2 Gigaflops pro Watt notwendig. SANAM erreicht dank seiner hydriden CPU-GPU-Architektur auf dem aktuellem Stand der Technik über 2,3 Gigaflops pro Watt und damit den zweiten Platz auf der grünen Liste. Effizienter, aber auch weniger performant, ist nur Beacon vom National Institute for Computational Sciences der University of Tennessee – mit fast 2,5 Gigaflops pro Watt. Die Kontrahenten ab Platz 3 werfen allesamt rund 2,1 Gigaflops pro Watt in die Effizienz-Waagschale. SANAM führte bei der Messung 2,351 Milliarden Rechenoperation pro Sekunde und Watt durch. Dabei erklimmt der deutsch-arabische Supercomputer nicht nur einen der ersten Plätze der grünen Liste, sondern ist gleichzeitig mit einer Dauerleistung von 420 Teraflops die Nummer 52 der Top-500-Supercomputer. Unter den Energiesparern trägt er damit eine Performance-Krone (Daten Stand November 2012).
Um den Supercomputer auf 3,6 Trillionen doppeltpräzise Gleitkomma-Operationen im Green500-Lauf zu bringen, hat AMD völlig neue Funktionen implementiert und damit den Beweiß geliefert, dass hochmodernes Supercomputing auch umweltfreundlich erreicht werden kann. AMD möchte künftig sein Engagement im Bereich HPC forcieren und entwickelt dafür weitere neue Software-Tools, die Software-Entwicklern bei der Programmierung von Clustern die Nutzung vertrauter Methoden ermöglichen sollen, die sie bereits für die Grafikchips (Graphics Processing Unit – GPU) und Hybridchips (Accelerated Processing Unit – APU) von AMD anwenden.
„Es ist ein deutliches Umdenken in der HPC-Branche zu beobachten, weg von der reinen Leistungsbetrachtung und hin zur Fokussierung auf den Umweltgedanken und die Flops pro Watt“, kommentiert John Gustafson, Senior Fellow und Chief Product Architect der Graphics Business Unit bei AMD. „SANAM ist durch die Fire Pro S10000 GPUs mit unserer Graphics-Core-Next-Architektur ausgestattet. Damit verbraucht das komplette Cluster nur 180 Kilowatt Leistung im Lauf – das ist ein unglaublich niedriger Wert für einen Supercomputer. Moderne Grafiklösungen in Kombination mit der richtigen Software von AMD und Technologiepartnern wie AccelerEyes, CAPS und PGI ermöglichen es Forschungseinrichtungen wie FIAS und KACST, die benötigte Rechenleistung und Prozessordichte zu erreichen, um neue Erkenntnisse in Gebieten wie der Quantenchromodynamik zu gewinnen – ohne dabei ihren finanziellen Rahmen zu sprengen.“
Adtech Global, AMD und FIAS wollen ihre Expertisen auch künftig bündeln, um neue Fortschritte im Bereich Supercomputing zu sichern und damit die wissenschaftliche Forschung auf vielen Gebieten nachhaltig zu unterstützen.

Interview mit Rick Rozalsky, Vice President Global Business Development bei Adtech Global

DIGITAL ENGINEERING MAGAZIN (DEM): Herr Rozalsky, der SANAM-Supercomputer bietet eine sehr gute Performanz in Kombination mit einer unglaublichen Effizienz – wie haben Sie das erreicht?

Rick Rozalsky: Das Verhältnis der Leistung zur Effizienz dieses Systems hat uns selbst beeindruckt. So etwas ist nur durch ein aktuelles und abgestimmtes Design möglich. Ein essentieller Aspekt sind die von AMD neu entwickelten Grafikkarten. Die neuen GPUs benötigen viel weniger Energie als andere Produkte am Markt. Neben der unglaublichen Coprozessorleistung der S10000-Dual-GPU-Karten spielt aber auch der Einsatz der richtigen CPU in Kombination mit energiesparenden Speicherelementen, optimierter Firmware und abgestimmter Anwendungssoftware eine Rolle. Hinzu kommt die Netzwerktechnologie, die aus den einzelnen Servern ein Supercomputer-Cluster macht. Insgesamt ist auf diese Weise ein System mit sehr geringer Verlustleistung entstanden, das nur relativ wenig Abwärme erzeugt, die sonst aufwendig abgeführt werden müsste.

DEM: Wie funktioniert die Lastverteilung zwischen Grafikchips und CPUs im SANAM-System – auch während der Benchmarks zu den Listen Top500 und Green500?

Rick Rozalsky: Leistung und Effizienz eines Supercomputer-Clusters wie dem SANAM hängen letztlich auch immer von seiner Programmierung ab. Das schließt den Lastausgleich zwischen CPU-Kernen und Grafik-Co-Prozessoren ein. Dabei übernehmen die CPUs einen Teil der Operationen selbst und lagern die anderen auf die GPUs aus. Oft sind es die Fließkomma-Operationen, die die Software auf die Grafikkerne verteilt, um die Algorithmen schneller und effizienter abzuarbeiten. GPUs sind wegen ihrer grundlegenden Architektur besser für Gleitkomma-Operationen geeignet als die CPUs. Die CPUs können solche Operationen zwar auch erledigen, aber weniger schnell und effizient. Sie sind sozusagen die Allrounder unter den Prozessoren und ihre Leistung hängt weitgehend von ihrer Taktrate ab. Wegen dieser ausgleichenden Wirkung sind Kombinationen aus CPUs und GPUs ein neuer Standard im Bereich Supercomputing geworden. Für die Green500- und Top500-Tests kommt der so genannte LINPACK-Benchmark zum Einsatz. Die SANAM-Software wurde vom FIAS für diese Test-Architektur optimiert. Da der LINPACK-Benchmark insbesondere die Abarbeitung linearer Gleichungssysteme beeinhaltet, wird während dieser Tests ein großer Teil der Arbeitsbelastung von den GPUs übernommen.

DEM: Wie sieht Ihre künftige Zusammenarbeit mit AMD aus? Sind schon weitere Projekte geplant?

Rick Rozalsky: Adtech arbeitet eng mit AMD zusammen, um neue Komponenten für eine Reihe neuer Supercomputer-Lösungen zu testen. Wir reden hier über mehrere aktuelle Projekte in Europa und den USA unter Einsatz von AMD-Grafiklösungen. Insbesondere hat AMD gerade eine neue Passiv-Version der S10000-Grafikkarte herausgebracht. Das ermöglicht die Umsetzung von Systemen mit passiver Kühlung. Das könnte einerseits den Abtransport der Abwärme vereinfachen und die Systeme mit Blick auf das Verhältnis von Rechenleistung (FLOPS) zu aufgenommener elektrischer Leistung (Watt) noch effizienter machen.

DEM: Hard- oder Software – wo werden in Zukunft die größten Herausforderungen im Bereich HPC liegen?

Rick Rozalsky: Bei Computern wird es immer eine enge Wechselwirkung zwischen Soft- und Hardware geben. In Bezug auf HPC ist deutlich zu sehen, das viele Anwender in unterschiedlichsten Branchen in einem steigendem Maße Rechenressourcen abfordern. Dadurch nimmt auch die Energieaufnahme zu und wird damit zur Herausforderung. Im Einklang mit Moores Gesetz wird die Hardware immer stärker an Leistung zulegen. Das wird ein kontinuierlicher Prozess sein, der mal die Zahl der Kerne, mal die Größe der Transistoren, die Taktraten und/oder die Speicheranbindungen betreffen wird. Die Software ist der Schlüssel für die Optimierung und steuert die Parallelisierung und die effiziente Lastverteilung auf die verfügbaren CPUs und Coprozessor-Kerne. Die Komponentenhersteller müssen auch weiterhin Softwarewerkzeuge entwickeln und ausliefern, die uns helfen, die maximale Leistung und Effizienz aus den neuen Hardware-Technologien herauszukitzeln.

DEM: Herr Rozalsky, vielen Dank für dieses Gespräch!

Die Fragen stellte Jan Bihn, Redakteur DIGITAL ENGINEERING Magazin.