HLRN-Verbund steigert HPC-Leistung

Der HLRN-Verbund entschied sich für die neuen Intel® Xeon® Platinum 9200 Prozessoren, um die zunehmend unterschiedlichen Anforderungen von HPC-Aufgaben zu erfüllen.

Auf einen Blick:

  • Der HLRN-Verbund betreibt ein massiv paralleles Supercomputing-System, das in Deutschland über 200 Universitäten und Forschungseinrichtungen versorgt.

  • Im Supercomputer der nächsten Generation, der beim HLRN-Verbund zum Einsatz kommen wird, werden Intel® Xeon® Platinum 9200 Prozessoren und die Produkte von Cornelis Networks1 bis zu sechsmal mehr Geschwindigkeit bereitstellen.

author-image

Von

Kurzübersicht:

HLRN-Supercomputer werden von über 100 Universitäten und über 120 Forschungseinrichtungen verwendet, um die Grenzen der wissenschaftlichen Forschung auszuloten und den Weg zu einer besseren Zukunft zu ebnen. Die Auswahl Intels aktueller Prozessortechnik für den neuesten HLRN-Supercomputer erfolgte nach umfangreichen Tests, mit deren Rahmen die beste Lösung gefunden werden sollte. Prof. Dr. Ramin Yahyapour von der Universität Göttingen erklärt, dass „die Erwartung bestand, durch den Kauf des Supercomputerkauf für den HLRN-Verbund einen deutlichen Anstieg der Computerleistung für neue Experimente zu erhalten“.

Herausforderung

„Die Wissenschaft nimmt generell an Rechen- und Datenintensität zu. Dies bedeutet, dass Wissenschaftler bei Verfügbarkeit größerer Systeme in der Lage sind, bessere Arbeit zu leisten. Daher ist der HLRN-Verbund für wissenschaftliche Forschung unerlässlich“, sagt Prof. Dr. Ramin Yahyapour.

Der HLRN-Verbund erhebt den Anspruch, ein äußerst anspruchsvoller Kunde zu sein: In Anbetracht der bereits erfolgten Implementierung von drei Supercomputersystemen verfügt er über umfangreiche Expertise. Prof. Alexander Reinefeld vom Zuse Institute Berlin (ZIB) betont, dass „wir bei allen Benchmark-Anwendungen höchste Leistungseigenschaften erwarten. Unsere Benchmark-Suite wurde sorgfältig ausgewählt, so dass jeder Code spezielle Systembereiche fordern würde: CPU, Kommunikationstechnik und paralleler I/O. Wir sind nicht auf der Suche nach theoretischer Spitzenleistung, sondern verlangen echte Systemleistung, was es für Anbieter komplizierter macht, ihre Infrastruktur für unsere Anwendungen zu optimieren. Das bedeutet, dass unsere Auswahl des richtigen Prozessors und der richtigen Verbindung für die Gesamtleistung entscheidend ist.“

Wie bei den meisten der heutigen Forschungsprojekte entsteht der Bedarf an zusätzlicher echter Computerkapazität daraus, dass Simulationen unterschiedlichster Art für Wissenschaftler unabdingbar sind. Schnellere Computer werden in erster Linie eingesetzt, um die Größe und Auflösung von Simulationen zu steigern – einhergehend mit der Erwartung, Neues zu entdecken.

Wir verlangen echte Systemleistung ... Das bedeutet, dass unsere Auswahl des richtigen Prozessors und der richtigen Verbindung für die Gesamtleistung entscheidend ist. – Prof. Reinefeld

Lösung

Der HLRN-Verbund erstand einen neuen Supercomputer mit etwas weniger als einer Viertelmillion Kerne. Intel® Xeon® Platinum 9200 Prozessoren (aus der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation) dienen dem HLRN-Verbund als die „richtigen Prozessoren“. Als „richtige Verbindung“ wählte der HLRN-Verbund die Produkte von Cornelis Networks. Das System wird von Atos (früher Bull Computing) hergestellt und ist physisch auf zwei Standorte aufgeteilt: das Zuse Institut Berlin (ZIB) und die Georg-August-Universität Göttingen. Da dieser geteilte Systemmodellansatz schon zuvor an diesen Standorten im Einsatz war, sind die rund 275 km entfernten Orte bereits durch ein dediziertes, redundantes 10-Gigabit-Glasfaserkabel verbunden.

Forscher am ZIB werden das HLRN-IV-System für Strömungsmechanik verwenden, zum Beispiel für die Ausarbeitung von Turbulenzmodellen für Flugzeugflügel.

Ergebnis

Der HLRN-Verbund hat angekündigt, dass das neue HLRN-IV-System etwa sechsmal so schnell sein wird wie seine Vorgänger – mit einer Leistung von 16-PetaFLOP/s.2 Die Begeisterung der Forscher ist deutlich erkennbar, und die Liste der durchgeführten Forschungsprojekte ist schwindelerregend. Prof. Reinefeld fasst die Begeisterung folgendermaßen zusammen: „Es ist ein großartiges System. Unsere Benutzer werden von diesem leistungsfähigeren System unmittelbar profitieren, ohne ihren Code ändern zu müssen. Die homogene Architektur der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation wird echte Leistungsportabilität bereitstellen. Dies ist ein entscheidender Aspekt für unsere Forscher, um vom neuen, stärkeren System rasch zu profitieren.“

Wichtige Forschungsbereiche innerhalb des HLRN-Verbunds umfassen:

  • Erdsystemwissenschaften: umfassen Projekte zum Klimawandel. Zu den Themen gehören Ozeanströmungen, Regenwälder, Gletscher, antarktisches Phytoplankton (Mikroalgen), Mineralstaubkreisläufe und die Stratosphäre.
  • Strömungswissenschaften: umfassen Turbulenzmodelle für Schiffsturbinen, Windturbinen und Flugzeugflügel. Diese Modelle sind für ihren Bedarf an enormer Rechenleistung bekannt. Die Anschaffung des HLRN-IV-Systems wird feiner abgestufte Turbulenzmodelle auf großen Systemen ermöglichen, zum Beispiel die Windströmung durch eine Stadt oder über eine Turbinenschaufel hinweg. Die Modellierung kompletter Städte wird die Voraussetzungen bieten, um zu erforschen, wie neue Gebäude die Windströmung verändern würden, und um andere Faktoren zu studieren, die verschiedene Mikroklimazonen innerhalb der Stadt beeinflussen. Dies könnte neue Designaspekte hervorbringen, die das Leben in der Stadt verbessern. Andere Forscher versprechen sich von der Entwicklung, ihr Verständnis zu verbessern und den Weg für künftige Auftriebshilfen kommerzieller Flugzeuge zu ebnen. Weitere Forscher hoffen, Leben und Schiffe zu retten, indem sie die Verflüssigung von Feststoffmassenladungen (z. B. Eisenerz und Nickelerz) untersuchen. Der mangelhafte Umgang mit dieser Problematik hat in den letzten zehn Jahren zum vollständigen Verlust von mindestens sieben Schiffen weltweit.
  • Gesundheitswesen: HLRN-Forscher hoffen, in diesem breiten Forschungsgebiet auf vielfache Weise zu helfen, zum Beispiel durch die Verbesserung der medizinischen Versorgung zu Hause. Ein besseres Verständnis von Krankheiten und deren Behandlung wird sich auf jeden von uns auswirken. Die Forschung umfasst Simulationen der Wirksamkeit von Medikamenten, Wechselwirkungen und Nebenwirkungen. Enorme Rechenleistung ebnet führenden Forschern dieser Bereiche den Weg, um nicht nur die durchschnittlichen Auswirkungen auf die Allgemeinheit zu erforschen, sondern mit der Untersuchung der Aspekte der „personalisierten Medizin“ dieser Simulationen zu beginnen.

Zu den Forschungsbereichen der Universität Göttingen gehören Gemeinschaftsprojekte für Zell- und Molekularforschungsgeräte.

Starke Leistung in unterschiedlichen Forschungsbereichen

In Bezug auf wissenschaftliche Gruppen muss der HLRN-Verbund alle Arten von Aufgaben für die zahlreichen Forscher unterstützen. Daher müssen HLRN-Systeme die Eigenschaften eines Allzwecksystems haben, aber dennoch höchste Leistung liefern. Ihre endgültige Wahl hatte keine Beschleuniger.

Obwohl wir im Rahmen des Beschaffungsprozesses Beschleuniger, einschließlich GPUs, in Erwägung zogen, zeigte sich kein Vorteil bei der Nutzung von GPUs oder anderen Beschleunigern im System hinsichtlich der Bereitstellung höchster Leistung. – Dr. Thomas Steinke, Leiter der Supercomputing-Abteilung am ZIP

Die Benchmarks des HLRN-Verbunds sind offen und umfassen Benchmarks, die GPUs nutzen können. Der HLRN-Verbund fand heraus, dass jegliche Leistungsvorteile bei bestimmten Aufgaben unzureichend sind, wenn die Verringerung der für allgemeine Zwecke vorgesehenen Rechenkapazität oder zusätzliche Kosten berücksichtigt werden. Es stellte sich heraus, dass ein homogenes System, das auf der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation basiert, die beste Wahl für die unterschiedlichen Anforderungen der HLRN-Wissenschaftler und -Forscher sein würde.

Dem Amdahlschen Gesetz die Stirn bieten

Dr. Thomas Steinke, der das Amdahlsche Gesetz stets vor Augen hat, betont gerne die Verwendung schneller Algorithmen für schnelle Computer. Er erklärte, dass „der Druck, Code für die Skalierung auf einem Knoten zu optimieren, aufgrund der hohen Leistung der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation in der Praxis geringer ist, als es bei früheren Many-Core-Architekturen der Fall war.“

Die skalierbare Intel® Xeon® Prozessorreihe der 2. Generation bietet eine hervorragende Wahl für High-Performance-Computing (HPC) und hilft Programmierern, dem Amdahlschen Gesetz die Stirn zu bieten.

Unsere Benutzer werden von diesem leistungsfähigeren System unmittelbar profitieren, ohne ihren Code ändern zu müssen. – Prof. Reinefeld

Die Zukunft der KI im HPC

KI und maschinelles Lernen werden sich auf alle Bereiche der HLRN-Forschung auswirken. Ein besonders interessanter Bereich ist dabei die Kombination von maschinellem Lernen und KI-Techniken mit traditionellen Simulationsfunktionen. Auch wenn bereits von vielversprechenden Ergebnissen die Rede ist, bleibt noch viel zu tun. Die Erforschung von Algorithmen wird Forscher wahrscheinlich in viele Richtungen führen, und dieser Bedarf an Flexibilität ist einer der Gründe, warum sich der HLRN-Verbund für die skalierbare Intel® Xeon® Prozessorreihe der 2. Generation entschied, um Forschung der nächsten Generation voranzubringen.

Datenbewegung vermeiden

Prof. Yahyapour betonte, dass „die CPU sehr gut für künstliche Intelligenz und maschinelles Lernen geeignet ist. In diesem Bereich sehen wir einen größeren Bedarf unserer Forscher. Bislang beschäftigten sie sich nicht so sehr mit datenintensiver Arbeit, aber wir beobachten hier einen neuen Trend hin zu diesem neuen System, das auch von besonderem Interesse sein wird.“

Die Intel® Advanced Vector Extensions 512 (Intel® AVX-512) erwiesen sich als logische Wahl, um die Rechenleistung des HLRN zu steigern, und durch das Hinzufügen von Intel® Deep Learning Boost (Intel® DL Boost) als Erweiterung der AVX-512 stand herausragende Leistung für die neue Grenze von HPC-Anwendungen bereit.

Wenn sich Daten dort, wo sie sich befinden, für alle Arten von Algorithmen verarbeiten lassen, spart dies Datenbewegungen. Dies ist gleichbedeutend mit mehr Rechenkapazität und weniger Energieverschwendung. Ein doppelter Gewinn!

Bei der Erforschung neuer Algorithmen und neuer Anwendungstechniken ist nichts wichtiger als die Flexibilität eines Systems. Skalierbare Intel® Xeon® Prozessoren der 2. Generation liefern hohe Leistung in Verbindung mit der Flexibilität, die zur Bewältigung künftiger Herausforderungen benötigt wird.

Produkt- und Leistungsinformationen

1

Intel hat das Omni-Path-Geschäft an Cornelis Networks ausgelagert, ein unabhängiges Unternehmen im Intel Capital Portfolio. Cornelis Networks wird Bestands- und Neukunden weiterhin mit führenden, zweckbestimmten Hochleistungs-Netzwerkprodukten für High Performance Computing und künstliche Intelligenz beliefern. Intel ist der Ansicht, dass Cornelis Networks das Technologieumfeld von hochleistungsstarken Fabric-Lösungen erweitern und Optionen für Kunden bieten wird, die mithilfe von Intel® Xeon™ Prozessoren Cluster für HPC und KI erstellen wird. Weitere Einzelheiten zur Veräußerung und Umstellung von Omni-Path-Produkten finden Sie unter www.cornelisnetworks.com.

2

Das vorherige System HLRN-III besteht aus zwei Komplexen, die sich am ZIB in Berlin und an der Leibniz Universität IT-Services (LUIS) in Hannover befinden und durch eine spezielle 10GigE-Faseroptik-Verbindung für HLRN gekoppelt wurden, um eine sogenannte Single-System-Ansicht zu ermöglichen. Insgesamt gibt es zwei Phasen, folgend die Details zu den Rechenknoten: Phase eins enthielt zwei Cray XC30-Computer, jeweils mit 744 Rechenknoten mit insgesamt 1488 Dual-Socket Intel® Xeon® Prozessor E5-2695v2 mit insgesamt 93 TB Hauptspeicher, die über ein schnelles Cray Aries Netzwerk mit Dragonfly-Topologie verbunden sind. In der zweiten Phase wurden 2064 Intel® Xeon® Prozessor E5-2680 v3 Rechenknoten mit 85248 Rechenkernen mit 1872 Rechenknoten in Berlin und 1680 Rechenknoten in Hanover hinzugefügt; insgesamt 2,7 PetaFlops / s Spitzenleistung und 222 TB erweiterter Hauptspeicher.