HLRN-Verbund steigert HPC-Leistung

Der HLRN-Verbund entschied sich für die neuen Intel® Xeon® Platinum 9200 Prozessoren, um die zunehmend unterschiedlichen Anforderungen von HPC-Aufgaben zu erfüllen.

Kurzübersicht
HLRN-Supercomputer werden von über 100 Universitäten und über 120 Forschungseinrichtungen verwendet, um die Grenzen der wissenschaftlichen Forschung auszuloten und den Weg in eine bessere Zukunft zu ebnen. Die Auswahl Intels aktueller Prozessortechnik für den neuesten HLRN-Supercomputer erfolgte nach umfangreichen Tests, in deren Rahmen die beste Lösung gefunden werden sollte. Prof. Dr. Ramin Yahyapour von der Universität Göttingen erklärt, dass „die Erwartung bestand, durch den Kauf des Supercomputers für den HLRN-Verbund einen deutlichen Anstieg der Computerleistung für neue Experimente zu erhalten“.

Herausforderung
„Die Wissenschaft nimmt generell an Rechen- und Datenintensität zu. Dies bedeutet, dass Wissenschaftler bei Verfügbarkeit größerer Systeme in der Lage sind, bessere Arbeit zu leisten. Daher ist der HLRN-Verbund für wissenschaftliche Forschung unerlässlich“, sagt Prof. Dr. Ramin Yahyapour.

Der HLRN-Verbund betont, ein äußerst anspruchsvoller Kunde zu sein: In Anbetracht der bereits erfolgten Implementierung von drei Supercomputersystemen verfügt er über umfangreiche Expertise. Prof. Alexander Reinefeld vom Zuse Institute Berlin (ZIB) betont, dass „wir bei allen Benchmark-Anwendungen höchste Leistungseigenschaften erwarten. Unsere Benchmark-Suite wurde sorgfältig ausgewählt, so dass jeder Code spezielle Systembereiche fordern würde: CPU, Kommunikationstechnik und paralleler I/O. Wir sind nicht auf der Suche nach theoretischer Spitzenleistung, sondern verlangen echte Systemleistung, was es für Anbieter komplizierter macht, ihre Infrastruktur für unsere Anwendungen zu optimieren. Das bedeutet, dass unsere Auswahl des richtigen Prozessors und der richtigen Verbindung für die Gesamtleistung entscheidend ist.“

Wie bei den meisten der heutigen Forschungsprojekte entsteht der Bedarf an zusätzlicher echter Computerkapazität daraus, dass Simulationen unterschiedlichster Art für Wissenschaftler unabdingbar sind. Schnellere Computer werden in erster Linie eingesetzt, um die Größe und Auflösung von Simulationen zu steigern – einhergehend mit der Erwartung, Neues zu entdecken.

„Wir verlangen echte Systemleistung ... Das bedeutet, dass unsere Auswahl des richtigen Prozessors und des richtigen Interconnect für die Gesamtleistung entscheidend ist.“ – Prof. Reinefeld

Lösung
Der HLRN-Verbund erstand einen neuen Supercomputer mit etwas weniger als einer Viertelmillion Kerne. Intel® Xeon® Platinum 9200 Prozessoren (aus der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation) dienen dem HLRN-Verbund als die „richtigen Prozessoren“. Als „richtige Verbindung“ wählte der HLRN-Verbund die Intel® Omni-Path-Architektur (Intel® OPA). Das System wird von Atos (früher Bull Computing) hergestellt und ist physisch auf zwei Standorte aufgeteilt: das Zuse Institut Berlin (ZIB) und die Georg-August-Universität Göttingen. Da dieser geteilte Systemmodellansatz schon zuvor an diesen Standorten im Einsatz war, sind die rund 275 km entfernten Orte bereits durch ein dediziertes, redundantes 10-Gigabit-Glasfaserkabel verbunden.

Forscher am ZIB werden das HLRN-IV-System für Strömungsmechanik verwenden, zum Beispiel für die Ausarbeitung von Turbulenzmodellen für Flugzeugflügel.

Ergebnis
Der HLRN-Verbund hat angekündigt, dass das neue HLRN-IV-System etwa sechsmal so schnell sein wird wie seine Vorgänger – mit einer Leistung von 16-PetaFLOP/s.1 Die Begeisterung der Forscher ist deutlich erkennbar, und die Liste der durchgeführten Forschungsprojekte ist schwindelerregend. Prof. Reinefeld fasst die Begeisterung folgendermaßen zusammen: „Es ist ein großartiges System. Unsere Benutzer werden von diesem leistungsfähigeren System unmittelbar profitieren, ohne ihren Code ändern zu müssen. Die homogene Architektur der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation wird echte Leistungsportabilität bereitstellen. Dies ist ein entscheidender Aspekt für unsere Forscher, um vom neuen, stärkeren System rasch zu profitieren.“

Wichtige Forschungsbereiche innerhalb des HLRN-Verbunds umfassen:

  • Erdsystemwissenschaften: umfassen Projekte zum Klimawandel. Zu den Themen gehören Ozeanströmungen, Regenwälder, Gletscher, antarktisches Phytoplankton (Mikroalgen), Mineralstaubkreisläufe und die Stratosphäre.
  • Strömungswissenschaften: umfassen Turbulenzmodelle für Schiffsturbinen, Windturbinen und Flugzeugflügel. Diese Modelle sind für ihren Bedarf an enormer Rechenleistung bekannt. Die Anschaffung des HLRN-IV-Systems wird feiner abgestufte Turbulenzmodelle auf großen Systemen ermöglichen, zum Beispiel die Windströmung durch eine Stadt oder über eine Turbinenschaufel hinweg. Die Modellierung kompletter Städte wird die Voraussetzungen bieten, um zu erforschen, wie neue Gebäude die Windströmung verändern würden, und um andere Faktoren zu studieren, die verschiedene Mikroklimazonen innerhalb der Stadt beeinflussen. Dies könnte neue Designaspekte hervorbringen, die das Leben in der Stadt verbessern. Andere Forscher versprechen sich von der Entwicklung, ihr Verständnis zu verbessern und den Weg für künftige Auftriebshilfen kommerzieller Flugzeuge zu ebnen. Weitere Forscher hoffen, Leben und Schiffe zu retten, indem sie die Verflüssigung von Feststoffmassenladungen (z. B. Eisenerz und Nickelerz) untersuchen. Der mangelhafte Umgang mit dieser Problematik hat in den letzten zehn Jahren zum vollständigen Verlust von mindestens sieben Schiffen weltweit.
  • Gesundheitswesen: HLRN-Forscher hoffen, in diesem breiten Forschungsgebiet auf vielfache Weise helfen zu können, zum Beispiel durch die Verbesserung der medizinischen Versorgung zu Hause. Ein besseres Verständnis von Krankheiten und deren Behandlung wird sich auf jeden von uns auswirken. Die Forschung umfasst Simulationen der Wirksamkeit von Medikamenten, Wechselwirkungen und Nebenwirkungen. Enorme Rechenleistung ebnet führenden Forschern dieser Bereiche den Weg, um nicht nur die durchschnittlichen Auswirkungen auf die Allgemeinheit zu erforschen, sondern mit der Untersuchung der Aspekte der „personalisierten Medizin“ dieser Simulationen zu beginnen.

Zu den Forschungsbereichen der Universität Göttingen gehören Gemeinschaftsprojekte für Zell- und Molekularforschungsgeräte.

Starke Leistung in unterschiedlichen Forschungsbereichen
In Bezug auf wissenschaftliche Gruppen muss der HLRN-Verbund alle Arten von Aufgaben für die zahlreichen Forscher unterstützen. Daher müssen HLRN-Systeme die Eigenschaften eines Allzwecksystems haben, aber dennoch höchste Leistung liefern. Ihre endgültige Wahl kommt ohne Beschleuniger aus.

„Obwohl wir im Rahmen des Beschaffungsprozesses Beschleuniger, einschließlich GPUs, in Erwägung zogen, zeigte sich kein Vorteil bei der Nutzung von GPUs oder anderen Beschleunigern im System hinsichtlich der Bereitstellung höchster Leistung.“ – Dr. Thomas Steinke, Leiter der Supercomputing-Abteilung am ZIP

Die Benchmarks des HLRN-Verbunds sind offen und umfassen Benchmarks, die GPUs nutzen können. Der HLRN-Verbund fand heraus, dass jegliche Leistungsvorteile bei bestimmten Aufgaben unzureichend sind, wenn die Verringerung der für allgemeine Zwecke vorgesehenen Rechenkapazität oder zusätzliche Kosten berücksichtigt werden. Es stellte sich heraus, dass ein homogenes System, das auf der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation basiert, die beste Wahl für die unterschiedlichen Anforderungen der HLRN-Wissenschaftler und -Forscher sein würde.

Dem Amdahlschen Gesetz die Stirn bieten
Dr. Thomas Steinke, der das Amdahlsche Gesetz stets vor Augen hat, betont gerne die Verwendung schneller Algorithmen für schnelle Computer. Er erklärte, dass „der Druck, Code für die Skalierung auf einem Knoten zu optimieren, aufgrund der hohen Leistung der skalierbaren Intel® Xeon® Prozessorreihe der 2. Generation geringer ist, als es bei früheren Many-Core-Architekturen der Fall war.“

Die skalierbare Intel® Xeon® Prozessorreihe der 2. Generation bietet eine hervorragende Wahl für High-Performance-Computing (HPC) und hilft Programmierern, dem Amdahlschen Gesetz die Stirn zu bieten.

„Unsere Benutzer werden von diesem leistungsfähigeren System unmittelbar profitieren, ohne ihren Code ändern zu müssen.“ – Prof. Reinefeld

Die Zukunft der KI im HPC
KI und maschinelles Lernen werden sich auf alle Bereiche der HLRN-Forschung auswirken. Ein besonders interessanter Bereich ist dabei die Kombination von maschinellem Lernen und KI-Techniken mit traditionellen Simulationsfunktionen. Auch wenn bereits von vielversprechenden Ergebnissen die Rede ist, bleibt noch viel zu tun. Die Erforschung von Algorithmen wird Forscher wahrscheinlich in viele Richtungen führen, und dieser Bedarf an Flexibilität ist einer der Gründe, warum sich der HLRN-Verbund für die skalierbare Intel® Xeon® Prozessorreihe der 2. Generation entschied, um Forschung der nächsten Generation voranzubringen.

Datenbewegung vermeiden
Prof. Yahyapour betonte, dass „die CPU sehr gut für künstliche Intelligenz und maschinelles Lernen geeignet ist. In diesem Bereich sehen wir einen größeren Bedarf unserer Forscher. Bislang beschäftigten sie sich nicht so sehr mit datenintensiver Arbeit, aber wir beobachten hier einen neuen Trend hin zu diesem neuen System, das auch von besonderem Interesse sein wird.“

Die Intel® Advanced Vector Extensions 512 (Intel® AVX-512) erwiesen sich als logische Wahl, um die Rechenleistung des HLRN zu steigern, und durch das Hinzufügen von Intel® Deep Learning Boost (Intel® DL Boost) als Erweiterung der AVX-512 stand herausragende Leistung für die neue Grenze von HPC-Anwendungen bereit.

Wenn sich Daten dort, wo sie sich befinden, für alle Arten von Algorithmen verarbeiten lassen, spart dies Datenbewegungen. Dies ist gleichbedeutend mit mehr Rechenkapazität und weniger Energieverschwendung. Ein doppelter Gewinn!

Bei der Erforschung neuer Algorithmen und neuer Anwendungstechniken ist nichts wichtiger als die Flexibilität eines Systems. Die skalierbare Intel® Xeon® Prozessorreihe der 2. Generation liefert hohe Leistung in Verbindung mit der Flexibilität, die zur Bewältigung künftiger Herausforderungen benötigt wird.

Mehr über zugehörige Intel® Produkte

Skalierbare Intel® Xeon® Prozessorreihe

Mit der skalierbaren Intel® Xeon® Plattform lassen sich nutzbringende Erkenntnisse einfacher gewinnen. Darüber hinaus bietet die Plattform hardwarebasierte Sicherheit und ermöglicht die dynamische Bereitstellung von Diensten.

Weitere Infos

Intel® Deep Learning Boost (Intel® DL Boost)

Die skalierbare Intel® Xeon® Prozessorreihe setzt mit Intel® Deep Learning Boost (Intel® DL Boost) neue Maßstäbe für integrierte KI-Leistung.

Weitere Infos

Intel® Omni-Path-Architektur (Intel® OPA)

Die Intel® Omni-Path-Architektur (Intel® OPA) senkt die System-Gesamtbetriebskosten und sorgt zugleich für Zuverlässigkeit, starke Leistung und extreme Skalierbarkeit.

Weitere Infos

Hinweise und Disclaimer

Durch Intel® Technik ermöglichte Funktionsmerkmale und Vorteile hängen von der Systemkonfiguration ab und können entsprechend geeignete Hardware, Software oder die Aktivierung von Diensten erfordern. Die Leistungsmerkmale variieren je nach Systemkonfiguration. Kein Computersystem bietet absolute Sicherheit. Informieren Sie sich beim Systemhersteller oder Einzelhändler oder auf https://www.intel.de. In Leistungstests verwendete Software und Workloads können speziell für die Leistungseigenschaften von Intel® Mikroprozessoren optimiert worden sein. Leistungstests wie SYSmark und MobileMark werden mit spezifischen Computersystemen, Komponenten, Softwareprogrammen, Operationen und Funktionen durchgeführt. Jede Veränderung bei einem dieser Faktoren kann abweichende Ergebnisse zur Folge haben. Für eine umfassende Bewertung Ihrer vorgesehenen Anschaffung, auch im Hinblick auf die Leistung des betreffenden Produkts in Verbindung mit anderen Produkten, sollten Sie zusätzliche Informationen und Leistungstests heranziehen.Ausführlichere Informationen finden Sie unter https://www.intel.de/benchmarks. Die Leistungsergebnisse basieren auf Tests, die zum Zeitpunkt, der in den Konfigurationen angegeben ist, durchgeführt wurden und berücksichtigen möglicherweise nicht alle öffentlich verfügbaren Sicherheitsupdates. Weitere Einzelheiten finden Sie in den veröffentlichten Konfigurationsdaten. Kein Produkt und keine Komponente bieten absolute Sicherheit. // Die beschriebenen Kostensenkungsszenarien sind als Beispiele dafür gedacht, wie ein bestimmtes Produkt mit Intel®-Technik unter den genannten Umständen und in der angegebenen Konfiguration zukünftige Kosten beeinflussen und Einsparungen ermöglichen kann. Die Umstände unterscheiden sich von Fall zu Fall. Intel übernimmt keine Gewähr für Kosten oder Kostensenkungen. // Intel hat keinen Einfluss auf und keine Aufsicht über die Benchmarkdaten Dritter oder die Websites, auf die in diesem Dokument Bezug genommen wird. Besuchen Sie die genannten Websites, um sich davon zu überzeugen, dass die angeführten Benchmarkdaten zutreffen. // Bei einigen Tests wurden die Ergebnisse unter Verwendung interner Analysen oder Architektursimulationen bzw. -modellen von Intel geschätzt oder nachempfunden. Sie dienen nur informatorischen Zwecken. Unterschiede in der Hardware, Software oder Konfiguration des Systems können die tatsächliche Leistung beeinflussen.

Produkt- und Leistungsinformationen

1

Das vorherige System HLRN-III besteht aus zwei Komplexen, die sich am ZIB in Berlin und an der Leibniz Universität IT-Services (LUIS) in Hannover befinden und durch eine spezielle 10GigE-Faseroptik-Verbindung für HLRN gekoppelt wurden, um eine sogenannte Single-System-Ansicht zu ermöglichen. Insgesamt gibt es zwei Phasen, folgend die Details zu den Rechenknoten: Phase eins enthielt zwei Cray XC30-Computer, jeweils mit 744 Rechenknoten mit insgesamt 1488 Dual-Socket Intel® Xeon® Prozessor E5-2695v2 mit insgesamt 93 TB Hauptspeicher, die über ein schnelles Cray Aries Netzwerk mit Dragonfly-Topologie verbunden sind. In der zweiten Phase wurden 2064 Intel® Xeon® Prozessor E5-2680 v3 Rechenknoten mit 85248 Rechenkernen mit 1872 Rechenknoten in Berlin und 1680 Rechenknoten in Hanover hinzugefügt; insgesamt 2,7 PetaFlops / s Spitzenleistung und 222 TB erweiterter Hauptspeicher.