Die Universität Kyoto ist eine Forschungs- und Bildungseinrichtung von Weltrang mit Standorten in Japan und weiteren Bildungseinrichtungen weltweit. Die Universität hat eine breit aufgestellte Forschergemeinde, die auf High-Performance-Computing (HPC) angewiesen ist, um zum weltweiten Wissen beizutragen.
Das Yukawa Institute for Theoretical Physics (YITP) an der Universität Kyoto ist eines der weltweit größten Zentren für das Studium der theoretischen Physik. YITP-Forscher sind auf allen Gebieten der theoretischen Physik tätig, darunter Teilchenphysik, Kernphysik, Kosmologie, Astrophysik, Festkörperphysik, statistische Physik, Quanteninformatik und andere. Sie benötigen Supercomputerleistung für Simulationen, die neue Erkenntnisse und Entdeckungen ermöglichen, von den kleinsten Dimensionen im Quantenbereich bis zu astronomischen Maßstäben. Anfang 2021 rüstete das Institut seine Rechenressourcen mit einem 1,3-PetaFLOPS-Cluster auf, der auf Vierprozessorservern des Typs Dell EMC PowerEdge mit skalierbaren Intel® Xeon® Prozessoren der 2. Generation basiert. Das neue System liefert die 3,8-fache Leistung des bisherigen Systems.
Herausforderung
Das YITP wurde 1953 gegründet, nachdem Hideki Yukawa 1949 den ersten Nobelpreis für einen japanischen Staatsangehörigen erhalten hatte. Yukawa war der erste Direktor des YITP und leitete das Institut bis zu seiner Pensionierung im Jahr 1970. Bei seiner Gründung war das Institut als eine neue Art von nationalem Forschungszentrum für theoretische Physik gedacht. Seine Einrichtungen wurden der gesamten japanischen Forschergemeinde auf dem Gebiet der theoretischen Physik für die Zusammenarbeit bei Projekten geöffnet.
Obwohl das YITP formell ein Institut der Universität Kyoto ist, werden Physiker aus dem ganzen Land dazu auserwählt, sich dem wissenschaftlichen Personal des YITP anzuschließen, um Strategien und Projekte zu diskutieren und festzulegen. Außerdem veranstaltet das YITP jedes Jahr viele internationale und nationale Workshops und Konferenzen, um das Wissen in den Bereichen der Physik zu erweitern. Als offene Einrichtung stehen die Supercomputer-Ressourcen des YITP allen Forschern auf dem Gebiet der theoretischen Physik in Japan kostenlos zur Verfügung.
Für die Arbeit der YITP-Forscher sind Rechenressourcen von zentraler Bedeutung. Die Wissenschaftler benötigen bei Simulationen jedes Jahr höhere Auflösungen, um bei der Forschung in vielen Bereichen der theoretischen Physik ein tieferes Verständnis zu ermöglichen. Diese Anforderungen stellen ständig höhere Ansprüche an die HPC-Systeme des Instituts. Das im Jahr 2016 installierte und bis 2020 betriebene System war ein Cray-XC40-Cluster mit 292 Knoten und insgesamt 9344 Kernen und 36,5 TB Arbeitsspeicher. Es lieferte eine Spitzenleistung von 343 TeraFLOPS.
„Wir benötigten ein System, das den Erfordernissen vieler Arten von Simulationen entsprach“, so Naoyuki Itagaki, Forscher am YITP. „Einige der Benutzer müssen umfangreiche Berechnungen mit vielen Knoten durchführen, einschließlich der Untersuchung und Entwicklung ihrer Anwendungen, die für die Ausführung auf Fugaku konzipiert sind.“
Fugaku ist der größte Supercomputer Japans und befindet sich im RIKEN Center for Computational Science im japanischen Kobe. Einige umfangreiche Simulationen, die für Fugaku vorgesehen sind, laufen zuerst am YITP.
„Viele andere Benutzer benötigen nur eine kleine Anzahl von Knoten mit Hochleistungskernen. Für Yukawa-21 mussten wir diese verschiedenen Anforderungen beim Design berücksichtigen.
Das Yukawa-21-System besteht aus Plattformen des Typs Dell EMC PowerEdge R840, die auf Intel® Xeon® Platinum Prozessoren 8280 mit jeweils 28 Kernen basieren. (Foto mit Genehmigung des YITP)
Lösung
Die Entwickler von Anwendungen am YITP kompilierten ihren Programmcode schon bisher mit hochleistungsfähigen Fortran-/C-Compilern von Intel und waren mit der Intel® Technik vertraut. Für den neuen Supercomputer Yukawa-21 entwickelten Systemarchitekten ursprünglich einen Cluster, der auf Zweiprozessorservern basiert, da diese kleineren Knoten eine günstige Rentabilität vermuten ließen. Der wichtigste Punkt beim neuen System sind jedoch die tatsächlichen Leistungseigenschaften der Simulationen. Dell Technologies und Intel stellten stärkere Vierprozessorknoten mit Intel Xeon Platinum Prozessoren 8280 mit je 28 Kernen (also 112 Kernen pro Knoten) für die von den Nutzern benötigte Leistung und Skalierbarkeit vor. Mit diesen Systemen konnte auch die Erfahrung der Entwickler mit der Intel Architektur genutzt werden.
Die fortschrittlichen Compiler und CPUs von Intel sind grundlegend wichtige Faktoren für den Erfolg unserer Forschung. Die Benchmark-Berechnungen haben die signifikanten Leistungsverbesserungen im Vergleich zum vorherigen System nachgewiesen.“ – Naoyuki Itagaki, YITP-Forscher
Um die Leistungsfähigkeit des geplanten Systems zu beurteilen, entwickelten Wissenschaftler Benchmark-Programme. Drei von Forschern in der Physik entwickelte Benchmark-Anwendungen stellten Simulationscode für die Kernstruktur, die Struktur des Universums und Quanten-Spin-Systeme bereit. Drei weitere, allgemeinere Benchmarks waren der HPCG-Benchmark (High Performance Conjugate Gradients), der IOR- (Interleaved or Random) sowie der STREAM-OpenMP-Benchmark.
Yukawa-21 erleichtert die Arbeit des YITP in der theoretischen Physik. Ein Beispiel sind Simulationen zur Berechnung der Dichteverteilung von neutronenreichen Kernen. (Bild mit Genehmigung des YITP)
„Die von den Nutzern entwickelten Simulationsprogramme sind in Fortran bzw. C geschrieben“, ergänzt Itagaki. „Die fortschrittlichen Compiler und CPUs von Intel sind grundlegend wichtige Faktoren für den Erfolg unserer Forschung. Die Benchmark-Berechnungen haben die signifikanten Leistungsverbesserungen im Vergleich zum vorherigen System nachgewiesen.“
Dell Technologies erhielt den Zuschlag für das Projekt, das 135 PowerEdge-R840-Server mit insgesamt 202,5 TB Arbeitsspeicher beinhaltet. Die Knoten mit Hochleistungs-CPUs werden ergänzt durch zwei Knoten mit vier GPUs pro Knoten. Der Cluster erreicht eine Spitzenleistung von 1,3 PetaFLOPS und ist damit 3,8-mal so schnell wie das vorherige System des Instituts. 1
Ergebnis
Im Januar 2021 erreichte das System die Produktivphase. Seitdem nutzten mehr als 100 Forschende das System für verschiedene Projekte.
Das neue System verkürzt nicht nur die Simulationszeiten, sondern ermöglicht uns auch die Beschäftigung mit neuen Objekten, was mit dem bisherigen System so nicht möglich war.“ – Naoyuki Itagaki, YITP-Forscher
„Wissenschaftler haben Simulationen für physikalische Systeme in vielen unterschiedlichen Größenordnungen durchgeführt, von Elementarteilchen bis zum Universum“, so Itagaki. „Eine Simulation betraf zum Beispiel die Wechselwirkung von Nukleonen im Atomkern, ab initio berechnet. Andere hatten die Fusion von Neutronensternen, die Synthese von Elementen im Universum, verschiedene Eigenschaften von Vielteilchen-Quantensystemen sowie andere Probleme zum Gegenstand.“
Laut Itagaki sind die meisten Benutzer mit der Leistung des neuen Systems recht zufrieden.
„Das neue System verkürzt nicht nur die Simulationszeiten, sondern ermöglicht uns auch die Beschäftigung mit neuen Objekten, was mit dem bisherigen System so nicht möglich war“, bemerkt er.
Itagaki hat Kernstrukturen mehr als 25 Jahre lang studiert und Supercomputer für seine Arbeit genutzt.
„Die Kerne sind Vielteilchen-Quantensysteme, bestehend aus Protonen und Neutronen“, erläutert Itagaki. „Um die mikroskopische Beschreibung zu ermöglichen, müssen wir sehr umfangreiche Berechnungen durchführen. Mein Interesse besteht darin, durch ein einheitliches Modell verschiedene konventionelle Bilder zu kombinieren. Auf dem Gebiet der Kernphysik werden jetzt neutronenreiche Kerne, die nicht natürlich vorkommen, intensiv erforscht. Die neutronenreichen Kerne haben nur eine kurze Lebensdauer, sollen jedoch bei der Synthese der Elemente im Universum eine wesentliche Rolle gespielt haben. Solche Berechnungen sind nur mit hochleistungsfähigen Supercomputern möglich.“
Diese Darstellung der Strukturbildung im Universum ist ein Ergebnis der astronomischen Simulationen, die Forscher mit dem Yakawa-21 durchführen können. (Bild mit Genehmigung des YITP)
Zusammenfassung
Am Yukawa Institute for Theoretical Physics war es Zeit für ein Upgrade seines vier Jahre alten Supercomputers, um sich anspruchsvolleren Aufgaben in der physikalischen Forschung zu widmen. Anstelle von Zweiprozessorservern installierte das Institut Vierprozessorsysteme des Typs PowerEdge R840 von Dell EMC, die auf Intel Xeon Platinum Prozessoren 8280 mit jeweils 28 Kernen basieren. Die größeren Systeme mit 202,5 TB Arbeitsspeicher ermöglichen es den Forschern des YITP mit der Unterstützung durch C- und FORTRAN-Compiler von Intel, dank schneller ablaufenden Simulationen im Quantenbereich bis hin zu astronomischen Dimensionen ein breites Spektrum von Aufgabenstellungen anzugehen und neue Objekte zu erforschen, was zuvor nicht möglich war. Sehen Sie sich die Übersicht über die Systemkomponenten des Yukawa-21 an.
Lösungskomponenten
- 135 Vierprozessor-Serverknoten Dell EMC PowerEdge R840
- 15.120 Kerne von Intel Xeon Platinum 8280 Prozessoren (jeweils 28 Kerne)
- Allen forschenden Physikern in Japan offene Ressource